torch.nn—softmax

最新推荐文章于 2024-03-27 16:27:08 发布
最新推荐文章于 2024-03-27 16:27:08 发布
阅读量783 收藏
点赞数 1
分类专栏： # 深度学习Pytorch框架 文章标签： 深度学习 pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43332715/article/details/125775667
版权

softmax()可以说是很基础的东西了，为什么还要看一遍？

moving_mean = torch.sum(moving_mean*nn.Softmax(-1)(self.layer(x.unsqueeze(-1))),dim=-1)

看到这行代码的时候突然发现自己对nn.Softmax并没有很了解，故有此文。

 torch中两种用法

torch.nn.functional.Softmax(input,dim=None)

nn.Softmax(dim=None)(input)

nn.Softmax_harry_tea的博客-CSDN博客 

pytorch中tf.nn.functional.softmax(x,dim = -1)对参数dim的理解_一小坨北北的博客-CSDN博客_nn.functional.softmax

参考资料

nn.Softmax(dim=?) - 知乎

Softmax 函数的特点和作用是什么？ - 知乎

思考实践
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Python下，torch和手动实现前馈神经网络实验代码
08-23
Torch.nn实现Logistic回归实验、softmax回归实验、实现前馈神经网络（多分类、二分类、回归）； 手动实现Logistic回归实验、softmax回归实验、实现前馈神经网络（多分类、二分类、回归）； 多分类实验torch.nn实现...
Pytorch损失函数nn.NLLLoss2d()用法说明
01-19
对于NLL函数，需要自己计算log和softmax的概率值，然后从才能作为输入 输入 [batch_size, channel , h, w] 目标 [batch_size, h, w] 输入的目标矩阵，每个像素必须是类型.举个例子。第一个像素是0，代表着类别...
PyTorch-----torch.nn.Softmax()函数
最新发布
xinxin的博客
03-27 1099
是 PyTorch 中的一个类，用于计算 softmax 函数。softmax 函数常用于多分类问题中，将一个具有任意实数值的向量转换为一个概率分布，使得每个元素都在 (0, 1) 之间，并且所有元素的和为 1。其中，zi 是 logits 向量 z 的第 i 个元素，n 是 logits 向量 z 的长度（即类别的数量），e 是自然对数的底（约等于 2.71828）。Softmax 函数的一个关键特性是它的输出是一个概率分布，即所有输出值的和为 1，因此可以用于表示多个互斥的类别的概率。
torch.softmax()
qq_37803694的博客
10-18 1万+
是三维tensor的推广，其实三维tensor也可以是batchsize=1的四维tensor，只是dim的索引需要加1.：先随机生成一个(2,2,5,4)矩阵。其实随着dim增加（从0到3），相当于一层层剥开。：先随机生成一个（2,5,4）的矩阵，即两个维度的（5,4）矩阵。)对应位置(相同BHW)求softmax。)对应位置(相同BCW)求Softmax。)对应元素(相同BCH)求softmax。对应位置(相同CHW)求softmax。继续向里剥，也是最后一次。这时向里剥，每小块(继续向里剥，每小块(
【Pytorch基础】torch.nn.functional.softmax介绍
sxl的博客
04-13 1万+
目录1 Softmax定义2 为什么使用Softmax3 Pytorch 实现Softmax4 防止数值溢出方法5 参考文献 1 Softmax定义 2 为什么使用Softmax 3 Pytorch 实现Softmax 4 防止数值溢出方法 5 参考文献 [1]一文详解Softmax函数 [2]Pytorch Softmax用法 ...
torch.nn.softmax(dim),理解Softmax分类器
weixin_46568462的博客
11-17 3197
例如一列数组[1,2,3,4,5,6,7,8,9,10],代入到softamx计算公式之中，我们可以从公式中看出元素的数值越大，softmax算出的值也就越大，对应在图像处理中也就是概率越大。dim=2时，对应维度数值为4，因此每次只有4个元素进行Softmax计算。dim=0时，对应维度数值为2，因此每次只有两个元素进行Softmax计算。dim=1时，对应维度数值为3，因此每次只有3个元素进行Softmax计算。上述两式子合成一个: nn.Softmax(dim=2)(a)
动手学PyTorch（李沐）2 ---- SoftMax（附实现代码）
qq_46381729的博客
07-13 1658
​ 将 softmax 作用在 o 上，o 是类别的独热编码，得到 y_hat ，是长为 n 的向量，每个元素非负且和为 1 ，具体指 y_hat 的第 i 个元素等于 o 里面的第 i 个元素做指数，再除以所有的 Ok做指数的和，这样好处是使得 y 成为了一个概率，将真实标号的 y 也做成了一个概率。这就将输入转换为 0 到 1 的值，解释为概率，如果输入很小或为负，softmax将其变为小概率，输入很大就会变为大概率。​ 关心的不是他们之间实际的值，关心的是对正确类型的置信度特别大。
深入浅出Pytorch函数——torch.softmax/torch.nn.functional.softmax
冯·诺依曼
07-23 9469
将Softmax函数应用于沿dim的所有切片，并将重新缩放它们，使元素位于01的范围内并和为1。
浅谈pytorch中torch.max和F.softmax函数的维度解释
12-17
import torch.nn.functional as F input = torch.randn(3,4) print(input) tensor([[-0.5526, -0.0194, 2.1469, -0.2567], [-0.3337, -0.9229, 0.0376, -0.0801], [ 1.4721, 0.1181, -2.6214, 1.7721]]) b = F....
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
总结来说，`nn.CrossEntropyLoss()` 是 PyTorch 中用于多分类任务的损失函数，它结合了对数 softmax 和负对数似然损失，使得模型能够最小化预测类别与真实类别之间的差异。在训练过程中，通过优化这个损失函数，可以...
pytorch实现softmax多重分类
07-10
代码清晰的说明使用pytorch实现多重分类， 有十个分类标签，用到的思路就是贝叶斯朴素分类器的思想，多分类问题参照BCELoss的函数表达式可变成loss(yhat, y) = -y*log(yhat)，Torch.nn.EntropyLoss()交叉熵损失：包含softmax，log处理loss计算和非线性激活
【从零开始学习深度学习】8.Pytorch实现softmax回归模型训练
阿旭的博客
12-05 818
【从零开始学习深度学习】8.Pytorch实现softmax回归模型训练
一文彻底搞懂 Softmax 函数，数学原理分析和 PyTorch 验证
热门推荐
qq_43799400的博客
06-14 1万+
Softmax 函数的数学原理分析和 PyTorch 使用
softmax的简单实现
是休比呦的博客
03-20 297
softmax的简单实现
【PyTorch】第九节：Softmax 函数与交叉熵函数
荷叶田田的博客
04-17 3378
本实验主要讲解了分类问题中的二分类问题和多分类问题之间的区别，以及每种问题下的交叉熵损失的定义方法。由于多分类问题的输出为属于每个类别的概率，要求概率和为 1 。因此，我们还介绍了如何利用 Softmax 函数，处理神经网络的输出，使其满足损失函数的格式要求。
PyTorch之torch.nn.Softmax()
qq_34600424的博客
01-18 794
参考链接：https://blog.csdn.net/weixin_41391619/article/details/104823086
torch.nn.Softmax( )与torch.nn.functional.softmax( )函数的异同点
Kelly_Ai_Bai的博客
12-03 1225
torch.nn.Softmax()与torch.nn.functional.softmax()函数的异同点
Pytorch nn.Softmax(dim=?) 详解
我有明珠一颗的博客
05-12 2401
有了这个d0,d1,d2,d3...的维度说明之后，我们可以去理解任意一个tensor的Softmax运算，万变不离其宗。
torch.nn添加softmax层
07-28
要在`torch.nn`中添加softmax层，可以使用`torch.nn.Softmax`类。以下是一个示例代码： ```python import torch import torch.nn as nn # 定义模型 class MyModel(nn.Module): def __init__(self, input_size, output_size): super(MyModel, self).__init__() self.linear = nn.Linear(input_size, output_size) self.softmax = nn.Softmax(dim=1) # 添加softmax层 def forward(self, x): x = self.linear(x) x = self.softmax(x) return x # 使用示例 input_size = 10 output_size = 5 model = MyModel(input_size, output_size) input_data = torch.randn(1, input_size) output = model(input_data) print(output) ``` 在上面的示例中，我们通过继承`nn.Module`创建了一个自定义模型`MyModel`。在初始化函数中，我们定义了一个线性层(`nn.Linear`)和一个softmax层(`nn.Softmax`)。在`forward`函数中，我们首先将输入数据传递给线性层，然后将线性层的输出传递给softmax层。 请注意，`nn.Softmax`的`dim`参数用于指定在哪个维度上应用softmax操作。在这个示例中，我们将其设置为1，表示在第一个维度上应用softmax操作（即对每个样本的输出进行softmax）。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值