PyTorch详解NLLLoss + softmax和CrossEntropyLoss

最新推荐文章于 2024-07-08 16:44:42 发布
最新推荐文章于 2024-07-08 16:44:42 发布
阅读量735 收藏
点赞数
分类专栏： 初学 Python pytorch 文章标签： python 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alittlebai1/article/details/106060092
版权
本文介绍了PyTorch中NLLLoss和CrossEntropyLoss的作用和使用方法。NLLLoss是负对数似然损失，用于softmax后的概率分布与目标标签计算损失。CrossEntropyLoss则结合了softmax和NLLLoss，直接处理模型输出和目标标签，便于深度学习模型的训练。
摘要由CSDN通过智能技术生成

1.softmax**

1.1作用
将得到的数据变为1的分布，使结果在0-1之间，方便评估和比较预测结果；
当我们通过模型
在这里插入图片描述
得到三个输出（O1=0.1 , O2 = 1,O3 = 10） 那么我们就选择最大为我们想要的结果。但是三个数字之间的差距太大，那么就用softmax将三个值归一化到0-1之间
2.softmax公式
在这里插入图片描述
例如上述的三个数，y1 = exp(0.1)/( exp(0.1) + exp(1) + exp(10) )
剩下的以此类推。
在import torch.nn.functional as F包里面softmax的用法有dim = 0, 1

在这里插入图片描述
dim = 1 是，对 d 的列求和等于 1 ࿰

最低0.47元/天 解锁文章
alittlebai1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
在PyTorch中，损失函数是衡量模型预测与真实标签之间差距的重要工具，nn.NLLLoss2d()是其中一种损失函数，主要用于二维数据，如图像处理任务。它全称为Negative Log Likelihood Loss（负对数似然损失），在分类问题...
基于MSELoss()与CrossEntropyLoss()的区别详解
09-18
需要注意的是，CrossEntropyLoss内部已经处理了softmax操作，因此在多分类任务中，网络的输出层不需要再进行softmax激活。 **实例分析：** 1. **CrossEntropyLoss示例**： 在二分类问题中，假设网络的最后层输出...
pytorch softmax_Pytorch常用的交叉熵损失函数CrossEntropyLoss()详解
weixin_39975683的博客
11-21 288
来源：AINLPer微信公众号 编辑: ShuYini 校稿: ShuYini 时间: 2019-12-22 引言    在使用pytorch深度学习框架，计算损失函数的时候经常会遇到这么一个函数： nn.CrossEntropyLoss()     该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。在训练过程中，对于...
torch模块中NLLLoss损失与LogSoftmax激活层的关系
weixin_43492473的博客
08-26 782
import torch import cv2 as cv m = torch.nn.LogSoftmax(dim=1) loss = torch.nn.NLLLoss() Input = torch.randn(2, 2, requires_grad=True) print(Input) target = torch.tensor([0, 1]) print("m(input)", m(Input)) output = loss(m(Input), target) print("Target", tar
Pytorch详解NLLLoss和CrossEntropyLoss、以及softmax和log_softmax
最新发布
sdsasaAAS的博客
07-08 77
转载：http://t.csdnimg.cn/eUeqW
pytorch 中的softmax, log_softmax, nn.CrossEntropyLoss和NLLLoss
liguiyuan的博客
01-06 3475
1. softmax和softmax loss知识学习 在进行图像分类和分割任务时，经常会用到softmax和softmax loss，今天就来彻底搞清楚这两个的区别。 softmax softmax是用来输出多个分类的概率的，可以作为网络的输出层。softmax的定义如下： 其中z是softmax的输入，f(z)是softmax的输出，k代表第k个类别。 sotfmax ...
DL - softmax、log_softmax、nll_loss、cross_entropy_loss
编码时光
12-04 821
softmax、log_softmax、nll_loss、cross_entropy_loss
关于Pytorch的softmax与Cross_entropy交叉熵的测试
dhldxcycsdn的博客
02-27 1242
主要是搞不清在使用CrossEntropyLoss是的输入大小size。于是分析了softmax，Nll_loss，crossentropyloss三个函数。因为 crossentropyloss = softmax + Nll_loss。 1、官方文档 def nll_loss(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean'):
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
总结来说，`nn.CrossEntropyLoss()` 是 PyTorch 中用于多分类任务的损失函数，它结合了对数 softmax 和负对数似然损失，使得模型能够最小化预测类别与真实类别之间的差异。在训练过程中，通过优化这个损失函数，可以...
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip
11-15
Pytorch实现基于BERT+ BiLSTM+CRF的命名实体识别项目源码（课程设计）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 Pytorch实现基于BERT+ BiLSTM+CRF的命名实体...
细数nn.BCELoss与nn.CrossEntropyLoss的区别
09-17
nn.BCELoss（Binary CrossEntropy Loss）和nn.CrossEntropyLoss是PyTorch中常用的两种损失函数，它们在处理分类问题时有着不同的应用场景和计算方式。 nn.BCELoss主要用于二分类问题，它的全称是Binary Cross...
cross entropy loss = log softmax + nll loss
blueblood7的专栏
06-07 362
cross entropy loss = log softmax + nll loss
理解 softmax 和 NLL 损失函数 (the negative log-likelihood) 以及求导过程
随风秀舞（diyoosjtu）
04-08 9955
本文转载自 https://ljvmiranda921.github.io/notebook/2017/08/13/softmax-and-the-negative-log-likelihood/ 有空了再翻译一下吧。 文章目录Softmax Activation Function In this notebook I will explain the softmax function, its ...
softmax和log_softmax，CrossEntropyLoss()和NLLLoss()
LemonTree_Summer的博客
09-18 2886
1. Softmax：接收一个实数向量，返回一个概率分布。假设X是一个实数的向量(正数或者负数都可以)，然后第i个softmax(x)的组成是                                                                                    log_softmax: 在softmax的结果上再做一次log运算，数学上等价于lo...
【Machine Learning】18.Softmax函数
m0_51371693的博客
10-25 1348
在softmax回归和具有softmax输出的神经网络中，生成N个输出，并选择一个输出作为预测类别。在这两种情况下，向量｛z｝\mathbf｛z｝｛z｝由应用于softmax函数的线性函数生成。softmax函数将｛z｝\mathbf｛z｝｛z｝转换为如下所述的概率分布。应用softmax后，每个输出将介于0和1之间，并且输出将相加到1，因此它们可以被解释为概率。较大的输入将对应于较大的输出概率。经过使用指数形式的Softmax函数能够将差距大的数值距离拉的更大。aj=e。
softmax,log_softmx,nll_loss和CELoss之间的关系
一千零一夜的博客
01-18 519
softmax,log_softmx,nll_loss和CELoss之间的关系
pytorch损失函数：MSE，NLLLose，Cross Entropy，KLDivLoss
ysngki的博客
03-18 1331
NLLLose与Cross Entropy 他们的输入是一串向量，和每个向量对应的一个label，因此只适用于分类问题。 他们之间的区别只在于有没有对传进去的那一串向量进行LogSoftmax的计算，前者没有计算，后者计算了。 所以NLLLose实际上干的事情就是根据label，从传进去的向量中挑出一个值，加个负号。 MSE与KLDivLoss 他们的输入是一串向量，label也是一串向量，所以可以用来衡量两串向量间的接近程度。 经过数学证明，KLDiv是恒大于0的，可以放心使用。至于它和MSE之间的效果区
Loss损失函数
北落师门XY的博客
06-27 3199
本博客记录一下遇到的各种损失，如想了解各种损失及其代码，也可查看mmdet项目的loss部分 适用于多分类任务，交叉熵属于分类损失中常见的一种损失，-ylogP取平均，概率P为1时，损失为0。在bert的mlm预训练任务中使用了ignore_index入参，可仅根据部分位置（15%mask处）计算损失。在实际计算时，标签转为one-hot，y=0的位置-ylogP为0，不参与损失计算，可参考如下链接中的红色示例交叉熵损失和二元交叉熵损失_飞机火车巴雷特的博客-CSDN博客_交叉熵损失计算过程为：
nn.nllloss和crossentropyloss区别
08-14
nn.NLLLoss()和nn.CrossEntropyLoss()是用于多分类任务的损失函数，在PyTorch中它们实际上是相同的。唯一的区别在于它们接收的输入不同： - nn.NLLLoss()的输入是一个对数概率向量和一个目标标签，它不会为我们计算对数概率。适合网络的最后一层是log_softmax损失函数的情况。 - nn.CrossEntropyLoss()的输入是一个预测值和一个目标标签，它会为我们自动计算预测值的对数概率，即先做softmax，再做log处理。在实际使用中，两者可以互换使用，效果是一样的。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [paddle中nll_loss()与CrossEntropyLoss()损失函数区别](https://blog.csdn.net/weixin_43848436/article/details/115448659)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Pytorch中损失函数 NLLLOSS 和 CROSSENTROPYLOSS 的区别](https://blog.csdn.net/cnhwl/article/details/125518586)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值