Pytorch torch.nn.Softmax的dim参数

最新推荐文章于 2023-07-23 21:13:33 发布

打码升级

最新推荐文章于 2023-07-23 21:13:33 发布

阅读量692

点赞数 2

分类专栏：学习笔记文章标签： pytorch 深度学习 cnn

本文链接：https://blog.csdn.net/m0_50951713/article/details/125253012

版权

学习笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

比如alpha = F.softmax(alpha, dim = 2)，dim参数表示在alpha的第几个维度上进行softmax。

举例说明：

1. 随机生成一个维度为（2，2，3）的tensor

import torch.nn as nn 

input = torch.randn(2, 2, 3)
print(input)

Out:
tensor([[[ 0.9235, -0.3383, -0.1117],
         [ 0.5047,  2.6545,  0.5707]],

        [[-1.5672, -0.7993, -0.8975],
         [-0.7288, -0.4013,  1.1321]]])

m = nn.Softmax(dim=0)
n = nn.Softmax(dim=1)
k = nn.Softmax(dim=2)

print(m(input))
print(n(input))
print(k(input))

2. dim=0

Out:
tensor([[[0.9235, 0.6133, 0.6869],
         [0.7744, 0.9550, 0.3632]],

        [[0.0765, 0.3867, 0.3131],
         [0.2256, 0.0450, 0.6368]]])

在第一个维度上进行softmax:

0.9235+0.0765=1,

0.6133+0.3867=1,

0.6869+0.3131=1,

0.7744+0.2256=1,

...

3. dim=1

Out:
tensor([[[0.6032, 0.0478, 0.3357],
         [0.3968, 0.9522, 0.6643]],

        [[0.3019, 0.4018, 0.1161],
         [0.6981, 0.5982, 0.8839]]])

在第二个维度上进行softmax:

0.6032+0.3968=1,

0.3019+0.6981=1,

0.0478+0.9522=1,

...

4. dim=2

Out:
tensor([[[0.6104, 0.1728, 0.2168],
         [0.0939, 0.8058, 0.1003]],

        [[0.1957, 0.4219, 0.3824],
         [0.1134, 0.1574, 0.7292]]])

在第三个维度上进行softmax:

0.6104+0,1728+0.2168=1,

0.1957+0.4219+0.3824=1,

...

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

打码升级

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
Pytorch torch.nn.Softmax的dim参数

Pytorch torch.nn.Softmax的dim参数
复制链接

扫一扫

专栏目录

Pytorch nn.Softmax(dim=?) 详解

我有明珠一颗的博客

05-12

2491

有了这个d0,d1,d2,d3...的维度说明之后，我们可以去理解任意一个tensor的Softmax运算，万变不离其宗。

torch.nn.function.softmax（logits，dim=-1）各参数代表什么意思?

u013250861的博客

03-10

768

是三维tensor的推广，其实三维tensor也可以是batchsize=1的四维tensor，只是dim的索引需要加1.：先随机生成一个(2,2,5,4)矩阵。其实随着dim增加（从0到3），相当于一层层剥开。)对应位置(相同BHW)求softmax。)对应位置(相同BCW)求Softmax。)对应元素(相同BCH)求softmax。：先随机生成一个（2,5,4）的矩阵，即。对应位置(相同CHW)求softmax。继续向里剥，也是最后一次。这时向里剥，每小块(继续向里剥，每小块(

参与评论您还未登录，请先登录后发表或查看评论

深入浅出Pytorch函数——torch.softmax/torch.nn.functional.softmax

冯·诺依曼

07-23

9683

将Softmax函数应用于沿dim的所有切片，并将重新缩放它们，使元素位于01的范围内并和为1。

【Pytorch基础】torch.nn.functional.softmax介绍

sxl的博客

04-13

1万+

目录1 Softmax定义2 为什么使用Softmax3 Pytorch 实现Softmax4 防止数值溢出方法5 参考文献 1 Softmax定义 2 为什么使用Softmax 3 Pytorch 实现Softmax 4 防止数值溢出方法 5 参考文献 [1]一文详解Softmax函数 [2]Pytorch Softmax用法 ...

torch.nn.softmax(dim),理解Softmax分类器

weixin_46568462的博客

11-17

3222

例如一列数组[1,2,3,4,5,6,7,8,9,10],代入到softamx计算公式之中，我们可以从公式中看出元素的数值越大，softmax算出的值也就越大，对应在图像处理中也就是概率越大。dim=2时，对应维度数值为4，因此每次只有4个元素进行Softmax计算。dim=0时，对应维度数值为2，因此每次只有两个元素进行Softmax计算。dim=1时，对应维度数值为3，因此每次只有3个元素进行Softmax计算。上述两式子合成一个: nn.Softmax(dim=2)(a)

Pytorch损失函数nn.NLLLoss2d()用法说明

09-16

在例子中，x是预测输出，其形状首先被调整为[B, C, H, W]，然后通过nn.Softmax(dim=1)和nn.LogSoftmax(dim=1)转换为对数概率。y是目标标签，调整为[B, H, W]，其中每个像素值代表其对应的类别。nn.NLLLoss2d()计算...

pytorch_mnist-python源码.zip

05-02

output = F.log_softmax(x, dim=1) return output net = Net() ``` **6. 定义损失函数与优化器** 选择交叉熵损失函数（`nn.CrossEntropyLoss`）作为损失函数，因为这是分类问题的标准选择。优化器使用随机梯度...

详细的PyTorch安装教程（附代码示例）.zip

最新发布

05-18

return F.log_softmax(x, dim=1) # 准备数据、模型、优化器和损失函数 model = Net() optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) criterion = nn.NLLLoss() # 训练模型 for epoch in ...

Pytorch 快速入门实战之 Fashionmnist

04-24

return F.log_softmax(x, dim=1) model = SimpleCNN() ``` 在训练模型之前，我们需要定义损失函数和优化器。FashionMNIST是一个多类分类问题，所以我们选择交叉熵损失（CrossEntropyLoss），优化器可以使用随机...

Datasets.rar

07-31

return F.log_softmax(x, dim=1) model = FashionMNIST_CNN() optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) criterion = nn.CrossEntropyLoss() for epoch in range(10): # loop over the ...

pytorch中nn.softmax的dim=1和dim=2的操作

weixin_43785343的博客

09-16

1929

在学习注意力机制的时候，可能需要用到nn.softmax来进行矩阵的乘法结果进行权重归一，但是对于nn.softmax的参数dim不知道具体的操作流程，于是自分别创建两个函数，对应dim=1和dim=2的时候的情况。然后创建一个实例tmp，它的shape是[batch, n, m]，所有的操作对不同的batch都是独立进行的。然后开始扔进函数里面，并打印，得到如下。tmp是长这个样子的。

动手学PyTorch（李沐）2 ---- SoftMax（附实现代码）

qq_46381729的博客

07-13

1852

将 softmax 作用在 o 上，o 是类别的独热编码，得到 y_hat ，是长为 n 的向量，每个元素非负且和为 1 ，具体指 y_hat 的第 i 个元素等于 o 里面的第 i 个元素做指数，再除以所有的 Ok做指数的和，这样好处是使得 y 成为了一个概率，将真实标号的 y 也做成了一个概率。这就将输入转换为 0 到 1 的值，解释为概率，如果输入很小或为负，softmax将其变为小概率，输入很大就会变为大概率。关心的不是他们之间实际的值，关心的是对正确类型的置信度特别大。

【PyTorch】第九节：Softmax 函数与交叉熵函数

荷叶田田的博客

04-17

3430

本实验主要讲解了分类问题中的二分类问题和多分类问题之间的区别，以及每种问题下的交叉熵损失的定义方法。由于多分类问题的输出为属于每个类别的概率，要求概率和为 1 。因此，我们还介绍了如何利用 Softmax 函数，处理神经网络的输出，使其满足损失函数的格式要求。

【动手学深度学习】softmax回归的从零开始实现（PyTorch版本）（含源代码）

wzk4869的博客

11-21

3173

【动手学深度学习】softmax回归的从零开始实现（PyTorch版本）（含源代码）

小白也能看懂的pytorch——softmax回归

h_qiu的博客

02-22

993

本篇文章的服务对象是没有武力值也想和pytorch沾沾边的小白朋友们，主要的内容是对于经典代码的逐行解读，解读内容以注释的形式展示。思路与专栏内的线性回归一文较为类似，主要差别在于解释softmax回归的运行逻辑。

torch.max和torch.softmax

热门推荐

jacke121的专栏

03-06

2万+

if __name__ == '__main__': import torch import torch.nn.functional as F input = torch.randn(2, 2) print(input) b = torch.softmax(input, dim=0) # 按列SoftMax,列和为1 print(b) ...

Pytorch的 torch.nn.functional中softmax的作用及其参数说明

OneBaBa的专栏

10-20

1万+

class torch.nn.Softmax(input, dim) 或 torch.nn.functional.softmax(input, dim) 对n维输入张量运用Softmax函数，将张量的每个元素缩放到（0,1）区间且和为1。Softmax函数定义如下：参数：　　dim:指明维度，dim=0表示按列计算；dim=1表示按行计算。默认dim的方法已经弃用了，最好声明dim，否则会警告： UserWarning: Implicit dimension choice for .

torch. nn.Softmax() dim的含义

skywf的博客

02-25

4551

dim实际上是对不同维度进行求对数均值例如下面这个是(3,2)的一个变量，dim = 0 实际上是对第一维的3个变量进行对数化，而dim = 1是对第二维进行操作 a = torch.Tensor([[1,1],[2,2],[3,3]]) a.size() Out[89]: torch.Size([3, 2]) b = torch.nn.Softmax(dim=0)(a) b Out[91]: ...

torch.nn.Softmax(dim) 参数

weixin_40875443的博客

12-03

1187

torch.nn.Softmax(dim) 参数先上代码 import torch.nn as nn import torch m = nn.Softmax(dim=0) n = nn.Softmax(dim=1) k = nn.Softmax(dim=2) v = nn.Softmax(dim=3) input = torch.randn(2, 2, 2, 3) print(input) print('dim = 0: ', m(input)) print('dim = 1: ', n(input))

torch.nn.LogSoftmax

04-12

torch.nn.LogSoftmax是PyTorch中的一个类，用于计算输入张量的对数softmax函数。对数softmax函数是softmax函数的一种变体，它将输入张量的每个元素转换为其对数概率值。对数softmax函数的计算公式如下： logsoftmax(x_i) = log(exp(x_i) / sum(exp(x_j))) 其中，x_i表示输入张量的第i个元素，exp表示指数函数，sum表示求和函数。 torch.nn.LogSoftmax类的主要作用是将输入张量的每个元素进行对数softmax变换，并返回结果。它可以应用于多维张量，保持输入张量的形状不变。使用torch.nn.LogSoftmax类可以通过以下方式实现： ``` import torch import torch.nn as nn # 创建LogSoftmax对象 log_softmax = nn.LogSoftmax(dim=1) # 输入张量 input_tensor = torch.randn(2, 3) # 对输入张量进行对数softmax变换 output_tensor = log_softmax(input_tensor) print(output_tensor) ```