Pytorch详解NLLLoss和CrossEntropyLoss 交叉熵损失函数详情

已于 2023-01-30 17:52:58 修改
阅读量383 收藏 1
点赞数
分类专栏： 卷积基础 PyTorch 文章标签： pytorch 深度学习 python
于 2023-01-30 17:51:29 首次发布
原文链接：https://community.modelscope.cn/63ca6165406cc115977187fb.html?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Eactivity-1-85229988-blog-102725285.pc_relevant_3mothn_strategy_recovery&depth_1-utm_source=
版权

Pytorch详解NLLLoss和CrossEntropyLoss

pytorch的官方文档写的也太简陋了吧…害我看了这么久…NLLLoss在图片单标签分类时，输入m张图片，输出一个m*N的Tensor，其中N是分类个数。比如输入3张图片，分三类，最后的输出是一个3*3的Tensor，举个例子：第123行分别是第123张图片的结果，假设第123列分别是猫、狗和猪的分类得分。可以看出模型认为第123张都更可能是猫。然后对每一行使用Softmax，这样可以. 125880人浏览 · 2018-12-24 10:46:12 pytorch的官方文档写的也太简陋了吧…害我看了这么久…

NLLLoss

在图片单标签分类时，输入m张图片，输出一个m*N的Tensor，其中N是分类个数。比如输入3张图片，分三类，最后的输出是一个3*3的Tensor，举个例子：
在这里插入图片描述
第123行分别是第123张图片的结果，假设第123列分别是猫、狗和猪的分类得分。
可以看出模型认为第123张都更可能是猫。
然后对每一行使用Softmax，这样可以得到每张图片的概率分布。
在这里插入图片描述
这里dim的意思是计算Softmax的维度，这里设置dim=1，可以看到每一行的加和为1。比如第一行0.6600+0.0570+0.2830=1。
在这里插入图片描述

如果设置dim=0，就是一列的和为1。比如第一列0.2212+0.3050+0.4738=1。
我们这里一张图片是一行，所以dim应该设置为1。
然后对Softmax的结果取自然对数：
在这里插入图片描述

Softmax后的数值都在0~1之间，所以ln之后值域是负无穷到0。
NLLLoss的结果就是把上面的输出与Label对应的那个值拿出来，再去掉负号，再求均值。
假设我们现在Target是[0,2,1]（第一张图片是猫，第二张是猪，第三张是狗）。第一行取第0个元素，第二行取第2个，第三行取第1个，去掉负号，结果是：[0.4155,1.0945,1.5285]。再求个均值，结果是：
在这里插入图片描述

下面使用NLLLoss函数验证一下：
在这里插入图片描述
嘻嘻，果然是1.0128！

CrossEntropyLoss

CrossEntropyLoss就是把以上Softmax–Log–NLLLoss合并成一步，我们用刚刚随机出来的input直接验证一下结果是不是1.0128：
在这里插入图片描述
真的是1.0128.

总结

nn.CrossEntropyLoss() -------------》 其内部会自动加上Sofrmax层

nn.BCELoss() 时需要先加上一个Softmax()层

nn.NLLLoss() 交叉熵上损失 softmax+log+null = nn.CrossEntropyLoss() 已验证

夏日清风有你
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【pytorch笔记】损失函数nll_loss
GentleCP的博客
06-07 2万+
本文主要讲解在使用pytorch中对损失函数`nll_loss`的一些理解与思考。
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
在PyTorch中，损失函数是衡量模型预测与真实标签之间差距的重要工具，nn.NLLLoss2d()是其中一种损失函数，主要用于二维数据，如图像处理任务。它全称为Negative Log Likelihood Loss（负对数似然损失），在分类问题...
Pytorch中NLLLoss
weixin_37707670的博客
10-27 3942
NLLLoss 首先，简单地谈下我对NLLLoss损失函数的理解。 经过上面的计算我们知道， 计算出来的值范围在 ，值的含义表示对应类别的概率。也就是说，每行中最接近于 的值对应的类别，就是该图片所属概率最大的类别。这时，目标是最大化概率。但在机器学习中，通常最小化某个函数值，因此，对概率值再进行一次 变换。经过 变换之后，最大概率值即为最接近于 的值。其它概率值经 变换之后，均为小于 的实值。为了满足最小化的条件， 函数通常会取个负号（ ）。此时，若实际标签张量在模型输出结果 的对应
Pytorch学习笔记——NLLLoss & CrossEntropyLoss
m0_57126939的博客
02-24 577
NLLLoss(Negative Log Likelihood Loss)图解如下： CrossEntropyLoss(交叉熵损失函数)图解如下： 二者关系为： LogSoftmax+ NLLLoss <===> CrossEntropyLoss 官方文档： CrossEntropyLoss — PyTorch 1.10 documentation NLLLoss — PyTorch 1.10 documentation ...
PyTorch-损失函数-NLLLoss
花开花落，人走茶凉
07-03 3万+
常用于多分类任务，NLLLoss 函数输入 input 之前，需要对 input 进行 log_softmax 处理，即将 input 转换成概率分布的形式，并且取对数，底数为 e class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='...
Pytorch损失函数torch.nn.NLLLoss()详解
热门推荐
Jeremy_lf的博客
10-24 5万+
在各种深度学习框架中，我们最常用的损失函数就是交叉熵（torch.nn.CrossEntropyLoss），熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度。交叉熵越小，表示数据越接近真实样本。 交叉熵计算公式： 就是我们预测的概率的对数与标签的乘积，当qk->1的时候，它的损失接近零。 nn.NLLLoss 官方文档中介绍称： nn.NLLLoss...
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
在PyTorch中，`nn.CrossEntropyLoss()` 是一个常用的操作，用于计算神经网络分类任务的损失。这个损失函数结合了对数 softmax 函数和负对数似然损失（negative log likelihood loss），常用于多分类问题。以下是 `nn...
【Pytorch】BCELoss和BCEWithLogitsLoss损失函数详解
01-07
在Pytorch中，BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数，常用于二分类问题，其区别在于前者的输入为已进行sigmoid处理过的值，而后者为sigmoid函数11+exp⁡(−x)\frac{1}{1+\exp(-x)}1+exp(−x)1...
pytorch 实现cross entropy损失函数计算方式
09-18
PyTorch中的`nn.CrossEntropyLoss`模块已经封装了这个功能，它结合了log softmax操作和负对数似然损失。如果你想要手动实现交叉熵损失，可以先使用`nn.LogSoftmax()`对模型的输出进行处理，然后再计算负对数似然损失...
交叉熵损失函数（Cross Entropy Loss）.pdf
05-12
交叉熵损失函数（Cross Entropy Loss）在人工智能领域，尤其是深度学习中，是用于衡量模型预测结果与实际标签之间的差异的重要工具。它源于信息论中的熵和相对熵（KL散度）概念，常用于监督学习的分类任务，尤其是多...
pytorch中的NLLLoss和CrossEntropy
upup
01-30 409
直接计算CrossEntropy import torch import torch.nn.functional as F 先按照流程手动计算CrossEntropy class_dim = 3 z = torch.Tensor([[3, 1, -3]]) z tensor([[ 3., 1., -3.]]) softmax过程，图片来自这里 y = torch.nn.Softmax(dim=1)(z) y tensor([[0.8789, 0.1189, 0.0022]]) 注意：交叉熵在信息论
NLLLOSS & CrossEntropyLoss
梁小憨憨的博客
09-17 1268
今天在看论文的时候，看到了NLLLOSS函数，嗯？这是个啥，然后就查了查，原来是跟CrossEntropyLoss一样的，这里整理一下，方便以后查阅。
pytorch篇---NLLLoss与CrossEntropyLoss详解
心惠天意
09-22 695
NLLLoss NLLLoss的计算前，卷积或者全卷积获取的结果需要通过softmax以及log函数的计算。 NLLLoss做的事情主要是将输入数据取反，然后求均值 CrossEntropyLoss 通过网络卷积或全卷积直接获取的结果即可参与计算交叉熵损失。 简单快捷，计算速度相对也快。 具体实现代码： 初始化数据 softmax操作 torch.Log操作 计算NLLLoss NLLLoss的结果就是把上面的输出与Label对应的那个值拿出来，再去掉负号，再求均值。 【这句话其实就是求交叉熵】
Pytorch中的NLLLoss代码解释
小毛激励我好好学习的博客
09-07 2045
在分类以及语义分割任务中，CrossEntropy是十分常用的一个损失函数，pytorch也对其进行了实现用于直接使用。 但本人在阅读其源码时，发现nn,CrossEropyLoss并不是直接按照交叉熵公式：Loss(p,y)=∑i=1nyilog(pi)Loss(p, y)=\sum_{i=1}^{n}y_ilog(p_i)Loss(p,y)=∑i=1n​yi​log(pi​)计算而得，实际上其是融合了多个计算而成：softmax计算+log计算+nll_loss计算。其具体原理，推荐一篇讲解得十分详细的
pytorch 损失函数教程(2) torch.nn.NLLLoss
qq_41724804的博客
06-15 1022
pytorch 损失函数教程系列
CrossEntropyLoss与NLLLoss的总结
街道口扛把子的博客
03-03 2万+
nll_loss(negative log likelihood loss)：最大似然 / log似然代价函数 CrossEntropyLoss: 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。 nn.CrossEntropyLoss() 与 NLLLoss() NLLLoss 的 输入 是一个对数概率向量和一个目标标签. 它不会为我们计算对数概率. 适合网络...
Pytorch踩坑记之交叉熵（nn.CrossEntropy，nn.NLLLoss，nn.BCELoss的区别和使用）
watermelon1123的博客
06-06 4万+
目录 nn.Softmax和nn.LogSoftmax nn.NLLLoss nn.CrossEntropy nn.BCELoss 总结 在Pytorch中的交叉熵函数的血泪史要从nn.CrossEntropyLoss()这个损失函数开始讲起。从表面意义上看，这个函数好像是普通的交叉熵函数，但是如果你看过一些Pytorch的资料，会告诉你这个函数其实是softmax()和交叉熵的结合体...
【深度学习】 基于pytorch框架的分类问题损失函数的选择NLL
阳一子的博客
07-22 1096
前提：输出层的激活函数为softmax 分类问题可以使用MSE作为损失函数，但Pytorch官方提供了一种NLL（negative log likelihood）损失函数： 在上式中out为输出层的输出，假设为[[0.3， 0.7], #真实类别为1 ...
Pytorch详解NLLLoss和CrossEntropyLoss
studyvcmfc的专栏
06-09 244
https://blog.csdn.net/qq_22210253/article/details/85229988?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.none
交叉熵损失函数CrossEntropyLoss()详解
最新发布
11-08
在Pytorch中，可以通过调用nn.CrossEntropyLoss()函数来实现交叉熵损失函数的计算。 具体来说，交叉熵损失函数的计算公式为：$loss(x, class) = -log(\frac{exp(x[class])}{\sum_j exp(x[j])})$，其中$x$表示模型的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值