Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解

最新推荐文章于 2024-09-15 20:59:35 发布
最新推荐文章于 2024-09-15 20:59:35 发布
阅读量2.5w 收藏 169
点赞数 76
分类专栏： 深度学习 文章标签： pytorch 深度学习 NLLLoss CrossEntropyLoss Softmax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28418387/article/details/95918829
版权

最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。

本文主要参考了这篇文章，在此基础上加入了一些自己的理解。

Softmax

我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下：
S o f t m a x ( x i ) = e x p ( x i ) ∑ j e x p ( x j ) , . Softmax(x_i)=\frac{exp(x_i)}{\sum_{j}exp(x_j)},. Softmax(xi​)=

最低0.47元/天 解锁文章
AI学渣
关注
专栏目录
基于MSELoss()与CrossEntropyLoss()的区别详解
09-18
今天小编就为大家分享一篇基于MSELoss()与CrossEntropyLoss()的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 计算Logsoftmax + NLLLoss + CrossEntropy
m0_51977577的博客
12-08 2164
logsoftmax + NLLLoss + CrossEntropy
关于Softmax，你想知道的都在这里了！
最新发布
⚡
09-15 1125
对于每一个输出，我们都可以对任意一个输入进行求导，所以Softmax函数的导数实际上是一个。此外，在深度学习模型中，fp16 精度广泛用于加速训练，但它的最大表示范围仅为。这一操作不仅可以避免数值溢出，还能提升计算的稳定性和精度，并且不影响Softmax的输出结果。对于负输入的计算会更加精确，我们可以通过将所有输入减去其最大值来缓解上溢问题，即计算。，第一次用来统计最大值，第二次用来计算分母，第三次用来计算每个输出。，第一次遍历是用来计算分母，第二次遍历是用来计算每一个输出。很容易发生上溢问题。
Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】
qq_43456497的博客
05-24 1734
softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）：在softmax的基础上取对数NLLLoss：对log_softmax与one-hot进行计算：衡量两个概率分布的差别（交叉熵）在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss。
cross entropy loss = log softmax + nll loss
blueblood7的专栏
06-07 390
cross entropy loss = log softmax + nll loss
pytorch中log_softmax的实现
热门推荐
说文科技，做有态度的研究。
12-18 1万+
pytorch中的log_softmax 是怎么实现的？让你以后不再担心函数实现。
pytorch中编写代码实现Logsoftmax
qq_45952183的博客
11-23 1039
logsoftmax的torch代码实现与理论讲解，解决上下溢出问题。logsoftmax解决了softmax上溢问题。
softmax,log_softmx,nll_loss和CELoss之间的关系
一千零一夜的博客
01-18 572
softmax,log_softmx,nll_loss和CELoss之间的关系
softmax与CrossEntropyLoss()，log_softmax与 NLLLoss()
联邦学习小白
11-01 720
我们在处理单标签多分类问题时，若考虑用softmax来对模型最后输出作计算以得到各标签的概率分布，那之后可以通过crossentropy做一个似然估计，求得误差 但softmax求出来的概率分布中，每个标签的概率p∈(0,1)，当有些标签的概率过小时就会导致下溢出（实数在计算机内用二进制表示，所以不是一个精确值，当数值过小的时候，被四舍五入为0，这就是下溢出。此时如果对这个数再做某些运算（例如除以它）就会出问题。）。 考虑softmax和crossentropy这个组合方案，crossentropy的计算是
PyTorch详解NLLLoss + softmax和CrossEntropyLoss
alittlebai1的博客
05-11 752
1.softmax** 1.1作用 将得到的数据变为1的分布，使结果在0-1之间，方便评估和比较预测结果； 当我们通过模型 得到三个输出（O1=0.1 , O2 = 1,O3 = 10） 那么我们就选择最大为我们想要的结果。但是三个数字之间的差距太大，那么就用softmax将三个值归一化到0-1之间 2.softmax公式 例如上述的三个数，y1 = exp(0.1)/( exp(0.1) + exp(1) + exp(10) ) 剩下的以此类推。 在import torch.nn.functi.
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
总结来说，`nn.CrossEntropyLoss()` 是 PyTorch 中用于多分类任务的损失函数，它结合了对数 softmax 和负对数似然损失，使得模型能够最小化预测类别与真实类别之间的差异。在训练过程中，通过优化这个损失函数，可以...
NLLLoss详解
MyHeartWillGoOn
04-22 6439
文章目录题目前言NLLLoss中文函数参数详解函数输入输出代码与CE_Loss的区别和联系 题目 NLLLoss+SoftMax=CE_Loss 前言 差不多好几天没有更新了，唉，最近有点忙，请见谅！今天终于忙里偷闲看了B站视频发现NLLLoss+SoftMax=CE_Loss，哈哈，又长见识了，那么今天来深入了解一下吧！ NLLLoss 中文 负对数似然损失 函数 torch.nn.NLLLoss( weight=None, size_average=None, ignore_index=- 1
Log_Softmax()激活函数、NLLLoss()损失函数、CrossEntropyLoss()损失函数浅析
Lyndon0_0的博客
02-23 7092
Log_Softmax()激活函数、NLLLoss()损失函数、CrossEntropyLoss()损失函数 1. Log_Softmax()激活函数。 Softmax() 函数的值域是 [0,1][0, 1][0,1]，公式： σ(z)j=ezj∑k=1nezk\sigma(z)_j =\frac{e^{z_j}}{\sum_{k=1}^{n} {e^{z_k}}}σ(z)j​=∑k=1n​...
Pytorch详解NLLLoss和CrossEntropyLoss、以及softmax和log_softmax
vincent_duan的专栏
09-02 2522
数据 import torch import torch.nn.functional as F import numpy as np # 随机新建3个样例数据，每个样例数据包含4个属性特征 input = torch.randn(3,4) tensor([[ 0.0054, -0.8030, -0.5758, -0.6518], [-0.5518, 0.3904, 0.5296, 0.4973], [ 0.1608, 0.5822, 0.9536, -0.3173
softmax()和log_softmax()、CrossEntropyLoss()和NLLLoss()对比分析
HUSTHY的博客
03-28 5084
softmax()和log_softmax()比较和分析
pytorch中的softmax, log_softmax,NLL_loss与crossEntropyLoss的异同点
znsoft的专栏
02-16 496
一段代码说明： import torch import torch.nn.functional as F data=torch.randn(2,5) softmax= F.softmax(data,dim=1) log_soft1=torch.log(log) log_soft=F.log_softmax(data,dim=1) # softmax + log, 即先softmax再log #上面的log_soft 和log_soft1 是等值 的 target=torch.tensor.
F.cross_entropy、logsoftmax、nll_loss详解
weixin_40198079的博客
01-13 3263
F.cross_enropy的实际计算方法探索
pytorch 中的softmax, log_softmax, nn.CrossEntropyLoss和NLLLoss
liguiyuan的博客
01-06 3538
1. softmax和softmax loss知识学习 在进行图像分类和分割任务时，经常会用到softmax和softmax loss，今天就来彻底搞清楚这两个的区别。 softmax softmax是用来输出多个分类的概率的，可以作为网络的输出层。softmax的定义如下： 其中z是softmax的输入，f(z)是softmax的输出，k代表第k个类别。 sotfmax ...
【总结】PyTorch多分类log_softmax、softmax的中文手册
江南蜡笔小新
04-01 4062
【总结】PyTorch多分类log_softmax、softmax的区别与联系 log_softmax、softmax在F和nn中存在，在此主要介绍nn 1.softmax torch.nn.functional.softmax (Python function, in torch.nn.functional) torch.nn.Softmax (Python class, in torch.n...
F.log_softmax
09-03
F.log_softmax是一个函数，它在softmax的结果上再进行一次log运算。这个函数可以通过指定维度参数来计算log_softmax。在PyTorch中，可以使用F.log_softmax(x, dim=1)或者F.log_softmax(x, dim=0)来调用log_softmax函数。 log_softmax函数的作用是将输入张量进行softmax操作后再进行log运算，得到一个新的张量。它常用于计算分类问题中的概率分布。 具体地说，log_softmax函数可以将原始输入张量x的每个元素作为指数的指数，然后对结果进行归一化处理，最后取对数。这样可以得到一个概率分布，在该分布中每个元素的取值范围为负无穷到0。 下面是一个使用log_softmax函数的示例代码： ```python import torch import torch.nn.functional as F inp1 = torch.Tensor([1, 3, 6]) print(inp1) print(F.log_softmax(inp1, dim=0)) ``` 在这个示例中，inp1是一个输入张量，通过调用F.log_softmax(inp1, dim=0)，我们可以得到对inp1进行log_softmax操作后的结果。 <span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解](https://blog.csdn.net/m0_51004308/article/details/118001835)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [（详细全面）softmax和log_softmax的联系和区别,NLLLOSS和CrossEntropyLoss的联系和区别](https://blog.csdn.net/qq_43391414/article/details/118421352)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值