pytorch中nn.softmax的dim=1和dim=2的操作

最新推荐文章于 2024-05-14 15:06:46 发布
最新推荐文章于 2024-05-14 15:06:46 发布
阅读量1.9k 收藏 4
点赞数 4
分类专栏： pytoch学习 文章标签： pytorch 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43785343/article/details/126893889
版权

在学习注意力机制的时候，可能需要用到nn.softmax来进行矩阵的乘法结果进行权重归一，但是对于nn.softmax的参数dim不知道具体的操作流程，于是自分别创建两个函数，对应dim=1和dim=2的时候的情况

softmax1 = nn.Softmax(dim=1)
softmax2 = nn.Softmax(dim=2)

然后创建一个实例tmp，它的shape是[batch, n, m]

tmp = torch.randn(2,3,4)

tmp是长这个样子的

请添加图片描述
然后开始扔进函数里面，并打印，得到如下

请添加图片描述
可以清晰的看到，dim=1是对n*m矩阵的逐列进行softmax，dim=2是对每行进行softmax操作，所有的操作对不同的batch都是独立进行的。

Tcotyledons
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分类任务常用激活函数之nn.Softmax函数参数dim理解（Pytorch）
NorthSmile的博客
08-29 4008
2）dim=1表示该操作将在输入张量的第1维进行计算，而此张量第1维长度为3，故计算实际是沿着第1维方向，将整个张量划分为2×4个切片，每个切片包含三个元素，并分别对每个切片进行softmax计算，使得这三个元素和为1.3）dim=2表示该操作将在输入张量的第2维进行计算，而此张量第2维长度为4，故计算实际是沿着第2维方向，将整个张量划分为2×3个切片，每个切片包含四个元素，并分别对每个切片进行softmax计算，使得这四个元素和为1.该函数使得输入中所有数值变为。.........
pytorch中的dim=0,=1,=2,在高纬度上的一些个人理解
weixin_44820962的博客
10-04 2518
pytorch dim 在高纬度中的理解
python 对矩阵与矩阵之间对应位置的元素，做softmax操作，代码实战
最新发布
L_goodboy的博客
05-14 181
python 对矩阵与矩阵之间对应位置的元素，做softmax操作，代码实战
nn.Softmax(dim) 的理解
Enterings的博客
10-22 4645
nn.Softmax(dim) 的理解
pytorch 的nn.Softmax(dim=1)
qq_41166909的博客
02-21 3215
nn.Softmax(dim=0) 是每一列和为1. nn.Softmax(dim=1) 是每一行和为1. nn.Softmax(dim) 的理解 - 简书 使用pytorch框架进行神经网络训练时，涉及到分类问题，就需要使用softmax函数，这里以二分类为例，介绍nn.Softmax()函数中，参数的含义。 1. 新建一个2x2大小的张量，一行理解成一个样本经过前面网络计算后的输出（1x2），则batch_size是2。 import numpy as np import torch impor
【Pytorch神经网络实战案例】07 预测泰坦尼克号上生存的乘客
小李的研究生学习日记
03-09 1万+
1 样本处理 1.1 载入样本代码---Titanic forecast.py（第1部分） import numpy as np import torch import torch.nn as nn import torch.nn.functional as F from scipy import stats import pandas as pd import matplotlib.pyplot as plt import os os.environ["KMP_DUPLICATE_LIB_OK"]=
Pytorch nn.Softmax(dim=?) 详解
我有明珠一颗的博客
05-12 2399
有了这个d0,d1,d2,d3...的维度说明之后，我们可以去理解任意一个tensor的Softmax运算，万变不离其宗。
nn.Softmax(dim=1)(outputs) 与 torch.max(probs, 1)[1]的理解
weixin_43889476的博客
04-01 1374
  已知在模型训练之后，会得出一个outputs，后遇到torch.max(probs, 1)[1]这行代码，不是很清楚它的意思，所以对其进行逐步调试，理清了思路： outputs = model(inputs) probs = nn.Softmax(dim=1)(outputs) # 得出一个(batch_size, 101)的Tensor, 指的是outputs在维度1,即每行上的元素相加等于1，即每个视频动作分别属于101个动作的概率相加等于1 # tupleProbs = torch.max(pro
对Pytorch中nn.ModuleList 和 nn.Sequential详解
09-18
在PyTorch中，`nn.ModuleList`和`nn.Sequential`是两种用于构建神经网络结构的重要工具。它们都是`nn.Module`的子类，但它们的功能和使用方式有所不同。 首先，`nn.Sequential`是一个序列化的模块集合，它允许你...
浅谈pytorch中torch.max和F.softmax函数的维度解释
12-17
在利用torch.max函数和F.Ssoftmax函数时，对应该设置什么维度，总是有点懵，遂总结一下： 首先看看二维tensor的函数的例子： import torch import torch.nn.functional as F input = torch.randn(3,4) print(input)...
pytorch中nn.Conv1d的用法详解
09-18
在PyTorch中，`nn.Conv1d`是用于一维卷积操作的模块，它在处理序列数据，如音频信号、时间序列分析或者文本数据时非常有用。本篇文章将详细解析`nn.Conv1d`的用法及其在实际代码中的应用。 一、`nn.Conv1d`的基本...
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
在例子中，x是预测输出，其形状首先被调整为[B, C, H, W]，然后通过nn.Softmax(dim=1)和nn.LogSoftmax(dim=1)转换为对数概率。y是目标标签，调整为[B, H, W]，其中每个像素值代表其对应的类别。nn.NLLLoss2d()计算...
torch.Tensor(dim)与torch.Tensor((dim)), torch.Tensor(dim1,dim2)与torch.Tensor((dim1,dim2))的区别
good18Levin的博客
03-01 783
1 torch.Tensor(dim)与torch.Tensor((dim))的区别 从三张截图可以看出这两者其实是完全一样的，其中第一处之所以不同是因为torch.Tensor本身就是随机数。 2 torch.Tensor(dim1,dim2)与torch.Tensor((dim1,dim2))的区别 可以看出这两者是不一样的，写成（X1, X2, X3，X4…）这种形式类似于写成[X1, X2, X3, X4] ，即是将这个list或者tuple给张量化，可以理解传入的参数是data的含义；
PyTorch 介绍 | 构建神经网络
weixin_47104052的博客
05-04 336
PyTorch 介绍 | 构建神经网络 神经网络由对数据进行操作的layers/modules组成。torch.nn 命名空间提供了所有你需要的构建块，用于构建你自己的神经网络。PyTorch的每一个module都继承自nn.Module。神经网络本身也是包含其它module（layer）的module。这种嵌套结构允许轻松构建和管理复杂的架构。 下面，我们将构建一个神经网络分类FashionMNIST数据集的图片 import os import torch from torch import nn fr
torch. nn.Softmax() dim的含义
skywf的博客
02-25 4541
dim实际上是对不同维度进行求对数均值 例如下面这个是(3,2)的一个变量，dim = 0 实际上是对第一维的3个变量进行对数化，而dim = 1是对第二维进行操作 a = torch.Tensor([[1,1],[2,2],[3,3]]) a.size() Out[89]: torch.Size([3, 2]) b = torch.nn.Softmax(dim=0)(a) b Out[91]: ...
pytorch中tf.nn.functional.softmax(x,dim = -1)对参数dim的理解
weixin_39331401的博客
10-29 6028
转载自：https://blog.csdn.net/Will_Ye/article/details/104994504特别最后一个图很清楚 torch.nn.functional.Softmax(input,dim=None) tf.nn.functional.softmax(x,dim = -1)中的参数dim是指维度的意思，设置这个参数时会遇到0,1，2，-1等情况，特别是对2和-1不熟悉，细究了一下这个问题 查了一下API手册，是指最后一行的意思。原文：dim (python:int) – A .
Pytorch踩坑之transpose与view
coding_with_smile的博客
01-12 1746
在实际应用中，经常会遇到需要对张量维度进行变换的情况，经常用到的就是transpose方法和view方法。但是这两种方法有着本质的区别，使用错误会导致难以察觉的错误。 transpose方法 transpose方法可以理解为维度交换，也就是转置。它有两个参数dim1和dim2，意义很简单，即交换dim1和dim2两个维度。 view方法 view方法则可以理解成对张量重新进行维度定义，它只有一个参数size，但这个size可以是元组或者列表，表示重新进行定义的维度。 两者的区别 具体看一个例子。 impor
torch.max() F.softmax() torch.cat()参数dim
qq_35608277的博客
04-29 5569
torch.max() F.softmax() 参数dim dim=0　遍历第一维每个元素， max如果是［３，４］对应的就是遍历完三行找到最大值，每列同上．结果［１，４］，并返回最大的出现行． a: tensor([ 0.9558, 1.1242, 1.9503]) max(a): tensor(1.9503) b: tensor([[ 0.2765, 0.0726, -0.7753,...
Python-维度dim的定义及其理解使用
热门推荐
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
03-01 2万+
转载 目录 一、dim的定义 二、dim 的理解 三、举例 torch.argmax() sum() cumsum() 一、dim的定义 TensorFlow对张量的阶、维度、形状有着明确的定义，而在pytorh中对其的定义却模糊不清，仅仅有一个torch.size()的函数来查看张量的大小（我理解的这个大小指的就是TensorFlow对张量的形状描述，也和numpy的.shape类似）。所以，首先要搞清楚如何看一个张量的形状。 import torch z = torch.one
self.softmax = nn.Softmax(dim=-1)
05-31
这是一个定义 softmax 操作的代码，其中： - `nn.Softmax` 是 PyTorch 中的 softmax 模块 - `dim=-1` 表示对最后一个维度进行 softmax 操作 具体来说，这段代码会定义一个 softmax 操作，用于在模型中对最后一个维度的数值进行归一化，使它们表示一个概率分布。在这个模型中，softmax 操作通常被用于计算注意力分布，将一个向量中的每个元素归一化为它们对应的注意力权重。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值