Pytorch torch.nn.Softmax的dim参数

最新推荐文章于 2024-03-10 00:53:39 发布

打码升级

最新推荐文章于 2024-03-10 00:53:39 发布

阅读量692

点赞数 2

分类专栏：学习笔记文章标签： pytorch 深度学习 cnn

本文链接：https://blog.csdn.net/m0_50951713/article/details/125253012

版权

学习笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

比如alpha = F.softmax(alpha, dim = 2)，dim参数表示在alpha的第几个维度上进行softmax。

举例说明：

1. 随机生成一个维度为（2，2，3）的tensor

import torch.nn as nn 

input = torch.randn(2, 2, 3)
print(input)

Out:
tensor([[[ 0.9235, -0.3383, -0.1117],
         [ 0.5047,  2.6545,  0.5707]],

        [[-1.5672, -0.7993, -0.8975],
         [-0.7288, -0.4013,  1.1321]]])

m = nn.Softmax(dim=0)
n = nn.Softmax(dim=1)
k = nn.Softmax(dim=2)

print(m(input))
print(n(input))
print(k(input))

2. dim=0

Out:
tensor([[[0.9235, 0.6133, 0.6869],
         [0.7744, 0.9550, 0.3632]],

        [[0.0765, 0.3867, 0.3131],
         [0.2256, 0.0450, 0.6368]]])

在第一个维度上进行softmax:

0.9235+0.0765=1,

0.6133+0.3867=1,

0.6869+0.3131=1,

0.7744+0.2256=1,

...

3. dim=1

Out:
tensor([[[0.6032, 0.0478, 0.3357],
         [0.3968, 0.9522, 0.6643]],

        [[0.3019, 0.4018, 0.1161],
         [0.6981, 0.5982, 0.8839]]])

在第二个维度上进行softmax:

0.6032+0.3968=1,

0.3019+0.6981=1,

0.0478+0.9522=1,

...

4. dim=2

Out:
tensor([[[0.6104, 0.1728, 0.2168],
         [0.0939, 0.8058, 0.1003]],

        [[0.1957, 0.4219, 0.3824],
         [0.1134, 0.1574, 0.7292]]])

在第三个维度上进行softmax:

0.6104+0,1728+0.2168=1,

0.1957+0.4219+0.3824=1,

...

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

打码升级

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
Pytorch torch.nn.Softmax的dim参数

Pytorch torch.nn.Softmax的dim参数
复制链接

扫一扫

专栏目录

分类任务常用激活函数之nn.Softmax函数参数dim理解（Pytorch）

NorthSmile的博客

08-29

4064

2）dim=1表示该操作将在输入张量的第1维进行计算，而此张量第1维长度为3，故计算实际是沿着第1维方向，将整个张量划分为2×4个切片，每个切片包含三个元素，并分别对每个切片进行softmax计算，使得这三个元素和为1.3）dim=2表示该操作将在输入张量的第2维进行计算，而此张量第2维长度为4，故计算实际是沿着第2维方向，将整个张量划分为2×3个切片，每个切片包含四个元素，并分别对每个切片进行softmax计算，使得这四个元素和为1.该函数使得输入中所有数值变为。.........

Pytorch损失函数nn.NLLLoss2d()用法说明

09-16

在例子中，x是预测输出，其形状首先被调整为[B, C, H, W]，然后通过nn.Softmax(dim=1)和nn.LogSoftmax(dim=1)转换为对数概率。y是目标标签，调整为[B, H, W]，其中每个像素值代表其对应的类别。nn.NLLLoss2d()计算...

参与评论您还未登录，请先登录后发表或查看评论

Pytorch nn.Softmax(dim=?) 详解

我有明珠一颗的博客

05-12

2491

有了这个d0,d1,d2,d3...的维度说明之后，我们可以去理解任意一个tensor的Softmax运算，万变不离其宗。

python中的torch.nn.Softmax() 用法和例子 dim=1 dim=2

longjiaxin1314的博客

03-21

6302

当张量的形状为二维时，dim=1 和 dim=2 的效果类似，因为此时张量的行数等于时间步数，列数等于特征数。在这种情况下，dim=1 和 dim=2 都将每一行的值进行归一化，输出的结果相同。但是当张量的形状为三维及以上时，dim=1 和 dim=2 的效果就不同了。在序列到序列的任务中，通常需要对每个时间步上的输出进行归一化，因此需要使用 torch.nn.Softmax(dim=2)。在分类任务中，通常需要对每个样本的输出进行归一化，因此需要使用 torch.nn.Softmax(dim=1)。

torch.nn.function.softmax（logits，dim=-1）各参数代表什么意思?

u013250861的博客

03-10

768

是三维tensor的推广，其实三维tensor也可以是batchsize=1的四维tensor，只是dim的索引需要加1.：先随机生成一个(2,2,5,4)矩阵。其实随着dim增加（从0到3），相当于一层层剥开。)对应位置(相同BHW)求softmax。)对应位置(相同BCW)求Softmax。)对应元素(相同BCH)求softmax。：先随机生成一个（2,5,4）的矩阵，即。对应位置(相同CHW)求softmax。继续向里剥，也是最后一次。这时向里剥，每小块(继续向里剥，每小块(

PyTorch学习笔记 —— Softmax函数

最新发布

05-18

return F.log_softmax(x, dim=1) # 准备数据、模型、优化器和损失函数 model = Net() optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) criterion = nn.NLLLoss() # 训练模型 for epoch in ...

Pytorch 快速入门实战之 Fashionmnist

04-24

return F.log_softmax(x, dim=1) model = SimpleCNN() ``` 在训练模型之前，我们需要定义损失函数和优化器。FashionMNIST是一个多类分类问题，所以我们选择交叉熵损失（CrossEntropyLoss），优化器可以使用随机...

Datasets.rar

07-31

return F.log_softmax(x, dim=1) model = FashionMNIST_CNN() optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) criterion = nn.CrossEntropyLoss() for epoch in range(10): # loop over the ...

torch.softmax()

qq_37803694的博客

10-18

1万+

是三维tensor的推广，其实三维tensor也可以是batchsize=1的四维tensor，只是dim的索引需要加1.：先随机生成一个(2,2,5,4)矩阵。其实随着dim增加（从0到3），相当于一层层剥开。：先随机生成一个（2,5,4）的矩阵，即两个维度的（5,4）矩阵。)对应位置(相同BHW)求softmax。)对应位置(相同BCW)求Softmax。)对应元素(相同BCH)求softmax。对应位置(相同CHW)求softmax。继续向里剥，也是最后一次。这时向里剥，每小块(继续向里剥，每小块(

深入浅出Pytorch函数——torch.softmax/torch.nn.functional.softmax

冯·诺依曼

07-23

9683

将Softmax函数应用于沿dim的所有切片，并将重新缩放它们，使元素位于01的范围内并和为1。

【Pytorch基础】torch.nn.functional.softmax介绍

sxl的博客

04-13

1万+

目录1 Softmax定义2 为什么使用Softmax3 Pytorch 实现Softmax4 防止数值溢出方法5 参考文献 1 Softmax定义 2 为什么使用Softmax 3 Pytorch 实现Softmax 4 防止数值溢出方法 5 参考文献 [1]一文详解Softmax函数 [2]Pytorch Softmax用法 ...

torch.nn.softmax(dim),理解Softmax分类器

weixin_46568462的博客

11-17

3222

例如一列数组[1,2,3,4,5,6,7,8,9,10],代入到softamx计算公式之中，我们可以从公式中看出元素的数值越大，softmax算出的值也就越大，对应在图像处理中也就是概率越大。dim=2时，对应维度数值为4，因此每次只有4个元素进行Softmax计算。dim=0时，对应维度数值为2，因此每次只有两个元素进行Softmax计算。dim=1时，对应维度数值为3，因此每次只有3个元素进行Softmax计算。上述两式子合成一个: nn.Softmax(dim=2)(a)

pytorch中nn.softmax的dim=1和dim=2的操作

weixin_43785343的博客

09-16

1929

在学习注意力机制的时候，可能需要用到nn.softmax来进行矩阵的乘法结果进行权重归一，但是对于nn.softmax的参数dim不知道具体的操作流程，于是自分别创建两个函数，对应dim=1和dim=2的时候的情况。然后创建一个实例tmp，它的shape是[batch, n, m]，所有的操作对不同的batch都是独立进行的。然后开始扔进函数里面，并打印，得到如下。tmp是长这个样子的。

nn.softmax

weixin_45186425的博客

03-05

2697

nn.softmax用法记录

关于多纬度下torch.nn.functional.softmax() 函数 dim参数的设置。

u014772432的博客

01-13

1274

关于多纬度下torch.nn.functional.softmax() 函数 dim参数的设置。

pytorch softmax 中参数 dim 的理解

GISer and Coder

11-14

5989

首先，先看官方定义 dim: A dimension along which Softmax will be computed (so every slice along dim will sum to 1) 具体解释为：当 dim=0 时，是对每一维度相同位置的数值进行softmax运算；当 dim=1 时，是对某一维度的列进行softmax运算；当 dim=2 或 -1 时，是对某一维度的行进行softmax运算； Ref pytorch中tf.nn.functional.softmax(x,d

动手学PyTorch（李沐）2 ---- SoftMax（附实现代码）

qq_46381729的博客

07-13

1852

将 softmax 作用在 o 上，o 是类别的独热编码，得到 y_hat ，是长为 n 的向量，每个元素非负且和为 1 ，具体指 y_hat 的第 i 个元素等于 o 里面的第 i 个元素做指数，再除以所有的 Ok做指数的和，这样好处是使得 y 成为了一个概率，将真实标号的 y 也做成了一个概率。这就将输入转换为 0 到 1 的值，解释为概率，如果输入很小或为负，softmax将其变为小概率，输入很大就会变为大概率。关心的不是他们之间实际的值，关心的是对正确类型的置信度特别大。

torch.nn.LogSoftmax

04-12

torch.nn.LogSoftmax是PyTorch中的一个类，用于计算输入张量的对数softmax函数。对数softmax函数是softmax函数的一种变体，它将输入张量的每个元素转换为其对数概率值。对数softmax函数的计算公式如下： log...