分类任务常用激活函数之nn.Softmax函数参数dim理解（Pytorch）

已于 2022-09-18 20:44:44 修改
阅读量4k 收藏 27
点赞数 9
分类专栏： 深度学习 文章标签： 深度学习 机器学习 卷积神经网络 人工智能 pytorch
于 2022-08-29 00:48:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43665602/article/details/126576622
版权

nn.Softmax

1.介绍

1）公式定义
公式理解：分母为输入向量中的所有元素按照指数方式求和，然后将输入中的每个元素按照指数方式除以分母得到计算结果。
在这里插入图片描述
2）调用方式
该函数输入/输出为n维向量，目的是将其输入重新缩放，使其所有元素皆属于[0,1]，并且此时所有元素总和为1。

torch.nn.Softmax(dim=None)  # 参数dim表示softmax进行计算的维度

3）示例
手动实现计算公式，从输出结果验证内部实现：

# 1.n维向量
softmax=nn
了解本专栏 订阅专栏 解锁全文 超级会员免费看
NorthSmile
关注
  • 9
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
PyTorch: Softmax多分类实战操作
09-16
主要介绍了PyTorch: Softmax多分类实战操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
在PyTorch中，损失函数是衡量模型预测与真实标签之间差距的重要工具，nn.NLLLoss2d()是其中一种损失函数，主要用于二维数据，如图像处理任务。它全称为Negative Log Likelihood Loss（负对数似然损失），在分类问题...
torch.nn.Softmax(dim=0,1,2)
keith的博客
12-12 9513
对torch.nn.Softmax函数的仔细讲解
Pytorch的四种函数讲解
最新发布
shiguang521314的博客
05-16 778
在PyTorch中，Softmax和LogSoftmax函数是用于将多维张量的值转换为概率分布的函数。它们通常用于多分类问题中，将模型的输出转换为每个类别的概率。在PyTorch中，NLLLoss（负对数似然损失）和（交叉熵损失）是两种常用的损失函数，它们通常用于多分类问题。一、四种函数的概念LogSoftmax:LogSoftmax函数是Softmax函数的对数形式，它将输入的任意实数值映射到(0, 1)区间，并且输出的总和为1。
torch.nn.Softmax( )与torch.nn.functional.softmax( )函数的异同点
Kelly_Ai_Bai的博客
12-03 1367
torch.nn.Softmax()与torch.nn.functional.softmax()函数的异同点
Pytorch nn.Softmax(dim=?) 详解
我有明珠一颗的博客
05-12 2482
有了这个d0,d1,d2,d3...的维度说明之后，我们可以去理解任意一个tensor的Softmax运算，万变不离其宗。
PyTorch-----torch.nn.Softmax()函数
xinxin的博客
03-27 1494
是 PyTorch 中的一个类，用于计算 softmax 函数。softmax 函数常用于多分类问题中，将一个具有任意实数值的向量转换为一个概率分布，使得每个元素都在 (0, 1) 之间，并且所有元素的和为 1。其中，zi 是 logits 向量 z 的第 i 个元素，n 是 logits 向量 z 的长度（即类别的数量），e 是自然对数的底（约等于 2.71828）。Softmax 函数的一个关键特性是它的输出是一个概率分布，即所有输出值的和为 1，因此可以用于表示多个互斥的类别的概率。
torch.nn.softmax(dim),理解Softmax分类器
weixin_46568462的博客
11-17 3221
例如一列数组[1,2,3,4,5,6,7,8,9,10],代入到softamx计算公式之中，我们可以从公式中看出元素的数值越大，softmax算出的值也就越大，对应在图像处理中也就是概率越大。dim=2时，对应维度数值为4，因此每次只有4个元素进行Softmax计算。dim=0时，对应维度数值为2，因此每次只有两个元素进行Softmax计算。dim=1时，对应维度数值为3，因此每次只有3个元素进行Softmax计算。上述两式子合成一个: nn.Softmax(dim=2)(a)
【Pytorch基础】torch.nn.functional.softmax介绍
热门推荐
sxl的博客
04-13 1万+
目录1 Softmax定义2 为什么使用Softmax3 Pytorch 实现Softmax4 防止数值溢出方法5 参考文献 1 Softmax定义 2 为什么使用Softmax 3 Pytorch 实现Softmax 4 防止数值溢出方法 5 参考文献 [1]一文详解Softmax函数 [2]Pytorch Softmax用法 ...
torch模块中NLLLoss损失与LogSoftmax激活层的关系
weixin_43492473的博客
08-26 777
import torch import cv2 as cv m = torch.nn.LogSoftmax(dim=1) loss = torch.nn.NLLLoss() Input = torch.randn(2, 2, requires_grad=True) print(Input) target = torch.tensor([0, 1]) print("m(input)", m(Input)) output = loss(m(Input), target) print("Target", tar
PyTorch 实现 逻辑回归、多元分类-谢TS的博客.pdf
07-17
Softmax函数将多个连续的实数值转换为概率分布，其特点是所有输出的概率之和为1。如果类别数为n，那么Softmax会接受n个输入，并输出n个概率值，用于表示每个类别的可能性。这样，预测时概率最高的类别就是模型的预测...
PyTorch上搭建简单神经网络实现回归和分类的示例
09-20
在PyTorch中构建神经网络可以分为几个关键步骤，这里我们将探讨如何使用PyTorch搭建简单的神经网络以实现回归和分类任务。 首先，我们需要了解PyTorch的基本组件。其中，`torch.Tensor`是核心数据结构，它类似于...
基于 pytorch搭建cnn网络实现植物图像10分类 完整代码数据 可直接运行
03-18
CNN通常由卷积层、池化层、激活函数（如ReLU）、全连接层和Softmax函数组成。卷积层通过滤波器（或称卷积核）提取图像特征，池化层则用于降低数据维度，减少计算量。ReLU激活函数为网络引入非线性，而全连接层将提取...
pytorch中nn.softmax的dim=1和dim=2的操作
weixin_43785343的博客
09-16 1927
在学习注意力机制的时候，可能需要用到nn.softmax来进行矩阵的乘法结果进行权重归一，但是对于nn.softmax的参数dim不知道具体的操作流程，于是自分别创建两个函数，对应dim=1和dim=2的时候的情况。然后创建一个实例tmp，它的shape是[batch, n, m]，所有的操作对不同的batch都是独立进行的。然后开始扔进函数里面，并打印，得到如下。tmp是长这个样子的。
pytorch nn.LogSoftmax
Claroja
09-01 5151
应用 # softmax层 # m = nn.Softmax(dim=1) # input = torch.randn(2, 3) # output = m(input) m = nn.LogSoftmax() input = torch.randn(2, 3) output = m(input) import torch input=torch.randn(2,1) input soft = torch.nn.Softmax(dim=0) logsoft = torch.nn.LogSoftmax(d
nn.CrossEntroyLoss nn.NLLoss nn.LogSoft pytorch损失函数
t20134297的博客
03-21 686
nn.NNLoss(x,y_target) = -x[y_target] x=[1,2,3] y_target=[2] 则loss = x[2]=3 nll = nn.NLLLoss() x = torch.randn(3,3) y_target = torch.tensor([1,2,0]) cal_my = (x[0][1]+x[1][2] +x[2][0])/3 loss = nll(...
softmax和权重对应相加
SKY_yiyi_9的博客
07-13 228
ass=torch.tensor([2, 4, 4]).type(torch.FloatTensor) asas=torch.softmax(ass,0) #结果 asas:tensor([0.2905, 0.3548, 0.3548]) num_zi = torch.sum(torch.pow(raw_wi_repeat - wi, 2), dim=0, keepdim=True) # [1,4] num_zi = (-num_zi).
nn.softmax的参数使用和数据使用
weixin_43794311的博客
12-31 2846
nn.Softmax ，dim=0 对于二维数组的dim=0时，将每列的每个元素和这一列的自然指数之和进行比， import torch.nn as nn import numpy as np import math arr = np.linspace(1,16,16).reshape(4,4) arr = torch.tensor(arr) sofmax = nn.Softmax(dim=0) out = sofmax(arr) print(arr) print(out) son = math.exp(
torch. nn.Softmax() dim的含义
skywf的博客
02-25 4548
dim实际上是对不同维度进行求对数均值 例如下面这个是(3,2)的一个变量，dim = 0 实际上是对第一维的3个变量进行对数化，而dim = 1是对第二维进行操作 a = torch.Tensor([[1,1],[2,2],[3,3]]) a.size() Out[89]: torch.Size([3, 2]) b = torch.nn.Softmax(dim=0)(a) b Out[91]: ...
F.softmax(x, dim=1)和nn.softmax(x, dim=1)
04-03
在PyTorch中，F.softmax(x, dim=1)和nn.softmax(x, dim=1)都是进行softmax操作的函数，其中F是函数库torch.nn.functional的别名，nn是torch.nn模块的别名。具体区别在于： - F.softmax(x, dim=1)是一个函数，可以直接调用，不需要定义模型； - nn.softmax(x, dim=1)是一个模块，在定义模型时需要引入该模块，并在模型中调用。 同时，两者的使用方式也略有不同： - F.softmax(x, dim=1)是一个纯函数，输入x为需要进行softmax操作的张量，dim为指定维度，返回进行softmax操作后的张量； - nn.softmax(x, dim=1)需要实例化为一个模块对象，输入x为需要进行softmax操作的张量，dim为指定维度，调用该模块的forward方法进行softmax操作，返回进行softmax操作后的张量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NorthSmile

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值