Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解

已于 2024-12-25 17:54:15 修改
阅读量5w 收藏 181
点赞数 57
分类专栏： # Pytorch 文章标签： 深度学习 人工智能 pytorch softmax yuan
于 2021-06-17 21:06:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51004308/article/details/118001835
版权

相关文章

Pytorch学习笔记(一):torch.cat()模块的详解
Pytorch学习笔记(二):nn.Conv2d()函数详解
Pytorch学习笔记(三):nn.BatchNorm2d()函数详解
Pytorch学习笔记(四):nn.MaxPool2d()函数详解
Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解
Pytorch学习笔记(六):view()和nn.Linear()函数详解
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解

文章目录


✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️

1. 函数语法格式和作用💖

在深度学习的领域中，F.softmax和F.log_softmax是两个极为重要的函数，它们在数据处理和模型训练过程中发挥着关键的作用。

1.1 F.softmax 作用🌿

F.softmax函数主要用于将输入的数值转换为概率分布。它的核心操作是按照行或者列来进行归一化处理。在实际应用场景中，比如在多分类问题的神经网络输出层，模型会产生一系列的数值作为各个类别的得分。而F.softmax函数能够将这些得分转换为每个类别对应的概率值，使得所有类别的概率之和为 1。这样的处理方式使得模型的输出具有明确的概率意义，便于后续的决策和分析。例如，在图像分类任务中，模型可能会输出一个表示每个类别可能性的向量，通过F.softmax函数的处理，我们可以清晰地知道图像属于每个类别的概率大小，从而确定最有可能的分类结果。

1.2 F.softmax 函数语言格式🌿

# 0 是对列做归一化，1 是对行做归一化
F.softmax(x,dim=1) 或者 F.softmax(x,dim=0)

这里的x代表输入的张量，通常是模型的输出结果。dim参数用于指定归一化的维度。当dim = 1时，表示沿着行的方向进行归一化，即将每一行的数值转换为该行的概率分布。这种方式适用于处理每个样本有多个类别的情况，例如在一个批次的图像分类任务中，每个图像都有多个可能的类别，此时沿着行进行归一化可以得到每个图像属于各个类别的概率。而当dim = 0时，则是沿着列的方向进行归一化，常用于一些特定的矩阵运算或数据处理场景中，例如在对某些特征矩阵进行处理时，可能需要按照列来计算概率分布。

1.3 F.log_softmax 作用🌿

F.log_softmax函数在softmax的基础上进一步进行了运算。它在softmax的结果上再做多一次log运算。这一操作在深度学习中也具有重要的意义。在一些基于概率的损失函数计算中，例如交叉熵损失函数，使用F.log_softmax可以简化计算过程并提高数值稳定性。通过对softmax结果取对数，能够将乘法运算转换为加法运算，在计算梯度等过程中可以减少数值计算的复杂度和潜在的数值溢出问题。同时，在一些需要对概率分布进行进一步数学处理的场景中，F.log_softmax也提供了更方便的数值表示形式。

F.log_softmax 函数语言格式

F.log_softmax(x,dim=1) 或者 F.log_softmax(x,dim=0)

与F.softmax函数类似，x为输入张量，dim参数同样用于指定操作的维度。无论是dim = 1对行进行操作还是dim = 0对列进行操作，其基本原理都是先进行softmax归一化，然后再对归一化后的结果取对数。这种一致的函数格式设计使得开发者在使用过程中能够方便地根据具体的需求和数据结构选择合适的维度进行计算，同时也便于在代码中进行统一的管理和维护。

总之，F.softmax和F.log_softmax函数在深度学习的模型训练和推理过程中是不可或缺的工具，深入理解它们的作用和语法格式对于构建高效、准确的神经网络模型至关重要。

2.参数解释💖

  • x指的是输入矩阵。

  • dim指的是归一化的方式，如果为0是对列做归一化，1是对行做归一化。

3.具体代码💖

import torch
import torch.nn.functional as F
logits = torch.rand(2,2)
pred = F.softmax(logits, dim=1)
pred1 = F.log_softmax(logits, dim=1)
print(logits)
print(pred)
print(pred1)

结果
在这里插入图片描述
✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️▶️➡️🌿🍀🍄🌟⭐❄️✅💖⚠️
在这里插入图片描述

[log_softmax]——深度学习中的一种激活函数
.
03-23 3529
具体来说，在模型训练过程中，[log_softmax]可以被当作是损失函数的一部分，用于计算预测值与真实值之间的距离。在深度学习中，我们需要将神经网络的输出转化为预测结果，而由于输出值并非总是代表着概率，因此我们需要使用激活函数将其转化为概率值。总结来说，[log_softmax]是深度学习中非常重要的一种激活函数，它通过运算将神经网络的输出值转化为概率值，进而用于模型训练和评估中。在深度学习中，激活函数是非常重要的组成部分之一，而[log_softmax]就是其中的一种。
【PYG】处理Cora数据集分类任务使用的几个函数log_softmax，nll_loss和argmax
Never Give Up
07-02 1134
log-softmax 操作的主要作用是在多分类问题中计算模型的输出概率分布，并且在使用负对数似然损失（negative log-likelihood loss，通常用于分类任务）时特别有用。对于分类任务，这一步是必要的，因为模型的输出通常是每个类别的对数概率分布，我们需要从中选出概率最大的类别作为预测结果。这表示模型预测第一个样本的类别为1，第二个样本的类别为2，第三个样本的类别为1。通过这种方式，我们可以从模型的输出中提取每个样本的预测类别，用于后续的评估或其他处理。对于二维张量（例如批处理的数据），
【PyTorch】torch.nn.functional.log_softmax() 函数：计算 log(softmax)，用于多分类任务
最新发布
彬彬侠的博客
03-14 912
torch.nn.functional.log_softmax是PyTorch提供的用于计算log(softmax)的函数，通常用于多分类任务和计算交叉熵损失，可以提高数值稳定性并防止数值溢出。比softmax+log更稳定，更高效。在分类任务中，cross_entropy已包含log_softmax，无需额外计算。在强化学习、VAE等任务中，log_softmax也是常用的概率计算方法。
F.log_softmax
SN的博客
12-01 598
PyTorch使用技巧1：F.dropout加self.training、F.log_softmax
源代码杀手的博客
07-07 1516
dropout方法是将输入Tensor的元素按伯努利分布随机置0，具体原理此处不赘，以后待补。总之就是训练的时候要用dropout，验证/测试的时候要关dropout。以下介绍Module的training属性，F(torch.nn.functional).dropout 和 nn(torch.nn).Dropout 中相应操作的实现方式，以及Module的training属性受train()和eval()方法影响而改变的机制。方法来自论文：https://www.jmlr.org/papers/volum
F.softmax
weixin_42280069的博客
12-29 1985
import torch import torch.nn.functional as F input = torch.randn(3,4) print(input) b = F.softmax(input,dim=0) # 按列SoftMax,列和为1 print('b',b) c = F.softmax(input,dim=-2) # 按行SoftMax,列和为1 print('c...
【Pytorch】F.softmax()方法说明
热门推荐
qq_43359515的博客
07-31 2万+
pytorch中，softmax()的用法
（详细全面）softmax和log_softmax的联系和区别,NLLLOSS和CrossEntropyLoss的联系和区别
qq_43391414的博客
07-02 1万+
1.softmax 作用：实现了将n维向量变成n维全为正数，且和为1的向量，在深度学习中可以解释为这个输入属于n个类别的概率。 例子： import torch.nn.functional as F inp1=torch.Tensor([1,3,6]) print(inp1) print(F.softmax(inp1,dim=0)) print("#############") inp2=torch.Tensor([2,2,2]) print(
pytorch学习笔记十一：损失函数
Dear_learner的博客
02-28 2000
一、损失函数是什么 损失函数：衡量模型输出与真实标签之间的差异。与损失函数有关的还有代价函数和目标函数。 损失函数（Loss Function）：计算一个样本的差异，Loss=f(y^,y)Loss=f\left ( \hat{y},y \right )Loss=f(y^​,y) 代价函数（Cost Function）：计算整个训练集loss的一个平均值，cost=1N∑iNf(y^,y)cos t= \frac{1}{N}\sum_{i}^{N}f\left ( \hat{y},y \right )co
Pytorch学习笔记【B站：小土堆】
m0_58730471的博客
07-20 2177
pytorch学习入门
个人学习笔记3：动手学深度学习pytorch版-李沐
浪子L的博客
09-03 1655
主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497
pytorch学习笔记：损失函数
weixin_44285710的博客
04-10 1249
0.定义 损失函数：衡量模型输出与真实标签的差异 Cost：希望训练使得预测与标签的差异小一些 Regularization：对模型增加一些约束，防止过拟合 1.损失函数 1.1交叉熵损失函数 ...
softmax()和log_softmax()、CrossEntropyLoss()和NLLLoss()对比分析
HUSTHY的博客
03-28 5714
softmax()和log_softmax()比较和分析
【总结】PyTorch多分类log_softmax、softmax的中文手册
江南蜡笔小新
04-01 4522
【总结】PyTorch多分类log_softmax、softmax的区别与联系 log_softmax、softmax在F和nn中存在，在此主要介绍nn 1.softmax torch.nn.functional.softmax (Python function, in torch.nn.functional) torch.nn.Softmax (Python class, in torch.n...
F.softmax(cls) + 1e-4
llf000000的博客
05-07 287
为了减轻这种过拟合的可能性，可以在 softmax 操作中添加一个微小的常数（通常为 1e-4 或类似的小值），即在原始的分类得分中加上一个小的偏置。这样做的目的是使得模型对于分类得分的细微差异更加敏感，从而在一定程度上抑制过拟合的发生。在实践中，当某些分类得分特别大时，softmax 函数会将对应的概率接近于 1，而其他分类的概率会接近于 0。因此，这种平滑化操作有助于提高模型的鲁棒性，使得模型更加能够泛化到未见过的数据，并减少在训练集上过度拟合的可能性。
torch.from_numpy()、torch.view()、torch.masked_select()、 F.softmax() 、F.log_softmax()、torch.mean()函数
凌波漫步~
08-27 920
torch.from_numpy()、torch.view()、torch.masked_select()、 F.softmax() 、F.log_softmax()、torch.mean()函数
F.softmax(）的用法
NDHuaErFeiFei的博客
05-10 1万+
F.softmax(）的用法 >>> import torch >>> import torch.nn.functional as F >>> logits = torch.rand(2,2) >>> pred = F.softmax(logits, dim=1) >>> logits tensor([[0.4140, 0.4571], [0.9392, 0.6504]]) >>>
F.cross_entropy、logsoftmax、nll_loss详解
weixin_40198079的博客
01-13 4606
F.cross_enropy的实际计算方法探索
F.log_softmax(x)
04-04
F.log_softmax(x) computes the logarithm of the softmax function applied to input tensor x along the specified dimension. The softmax function takes an input tensor and computes a probability distribution over the elements of the tensor such that the sum of the probabilities is equal to 1. The logarithm of the softmax function is often used in machine learning to calculate the negative log-likelihood loss for multi-class classification problems.
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZZY_dl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值