pytorch篇---NLLLoss与CrossEntropyLoss详解

最新推荐文章于 2024-08-06 20:02:54 发布
最新推荐文章于 2024-08-06 20:02:54 发布
阅读量703 收藏
点赞数
文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46825740/article/details/120413344
版权

NLLLoss

NLLLoss的计算前，卷积或者全卷积获取的结果需要通过softmax以及log函数的计算。
NLLLoss做的事情主要是将输入数据取反，然后求均值

CrossEntropyLoss

通过网络卷积或全卷积直接获取的结果即可参与计算交叉熵损失。
简单快捷，计算速度相对也快。

具体实现代码：

初始化数据

在这里插入图片描述

softmax操作

在这里插入图片描述

torch.Log操作

在这里插入图片描述

计算NLLLoss

NLLLoss的结果就是把上面的输出与Label对应的那个值拿出来，再去掉负号，再求均值。
【这句话其实就是求交叉熵】

  • 假设我们现在Target是[1, 0, 2]（第一张图片是猫，第二张是狗，第三张是熊）。
  • 第一行取第1个元素，第二行取第0个，第三行取第2个，去掉负号，结果是：0.6858, 1.7522, 1.1409。
  • 再求个均值
    在这里插入图片描述

计算CrossEntropyLoss

在这里插入图片描述

softmax_loss的流程：

  • softmax
  • log
  • nn.NLLLoss
    CrossEntropyLoss就是把以上Softmax_Log–NLLLoss合并成一步
心惠天意
关注
Pytorch深度学习-----损失函数（L1Loss、MSELoss、CrossEntropyLoss）
LGL
08-07 2162
如果设置为 True，则对输入批次的输出进行减少，返回一个标量。如果设置为 False，则返回每个输入批次的输出的张量。如果设置为 True，则对输入批次的输出进行减少，返回一个标量。如果设置为 False，则返回每个输入批次的输出的张量。如果设置为 ‘mean’，则对输入批次的输出进行平均。如果设置为 ‘none’，则不进行减少，返回每个输入批次的输出的张量。如果设置为 ‘mean’，则对输入批次的输出进行平均。如果设置为 ‘none’，则不进行减少，返回每个输入批次的输出的张量。
nn.CrossEntropyLoss() nn.NLLLoss()多分类损失函数计算过程详解
08-21 3250
import torch import torch.nn as nn x_input=torch.randn(3,3) print('x_input:\n',x_input) y_target=torch.tensor([1,2,0]) #计算输入softmax，此时可以看到每一行加到一起结果都是1 softmax_func=nn.Softmax(dim=1) soft_output=softmax_func(x_input) print('soft_output:\n',soft_out...
【pytorch笔记】损失函数nll_loss
GentleCP的博客
06-07 2万+
本文主要讲解在使用pytorch中对损失函数`nll_loss`的一些理解与思考。
Pytorch中NLLLoss
weixin_37707670的博客
10-27 3973
NLLLoss 首先，简单地谈下我对NLLLoss损失函数的理解。 经过上面的计算我们知道， 计算出来的值范围在 ，值的含义表示对应类别的概率。也就是说，每行中最接近于 的值对应的类别，就是该图片所属概率最大的类别。这时，目标是最大化概率。但在机器学习中，通常最小化某个函数值，因此，对概率值再进行一次 变换。经过 变换之后，最大概率值即为最接近于 的值。其它概率值经 变换之后，均为小于 的实值。为了满足最小化的条件， 函数通常会取个负号（ ）。此时，若实际标签张量在模型输出结果 的对应
Pytorch损失函数-torch.nn.NLLLoss()
最新发布
fan_fan_feng的专栏
08-06 521
交叉熵损失函数的定义如下：就是我们预测的概率的对数与标签的乘积，当qk->1的时候，它的损失接近零。
损失函数之NLLLoss和CrossEntropyLoss
maly_Sunshine的博客
11-06 368
import torch import torch.nn as nn input = torch.randn(3, 3)# 理解为每一行对应一张图片（????????????3分类，所以是3行3列） target = torch.tensor([0, 2, 1])# 真实标签 sm = nn.Softmax(dim=1)# 转化为0~1之间，概率 loss = nn.NLLLoss() # 注意此处需要将类实例化，不可直接写为nn.NLLL...
PyTorch-损失函数-NLLLoss
花开花落，人走茶凉
07-03 3万+
常用于多分类任务，NLLLoss 函数输入 input 之前，需要对 input 进行 log_softmax 处理，即将 input 转换成概率分布的形式，并且取对数，底数为 e class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='...
【损失函数】(三) NLLLoss原理 & pytorch代码解析
Lizhi_Tech的博客
07-31 6291
接下来应该要介绍分类任务里最常用的CrossEntropyLoss，但是CrossEntropyLoss里面用到了NLLLoss，所以我们先了解NLLLoss是什么。NLLLoss全名叫做Negative Log Likelihood Loss，顾名思义，输入就是log likelihood，对输入的对应部分取负号就是这个loss的输出了，公式可以表示为：其中是每个类别的权重，默认的全为1，表示对应target那一类的概率。更简单一点来说，就是将对应类别的x输出取负值。
PyTorch详解NLLLoss + softmax和CrossEntropyLoss
alittlebai1的博客
05-11 742
1.softmax** 1.1作用 将得到的数据变为1的分布，使结果在0-1之间，方便评估和比较预测结果； 当我们通过模型 得到三个输出（O1=0.1 , O2 = 1,O3 = 10） 那么我们就选择最大为我们想要的结果。但是三个数字之间的差距太大，那么就用softmax将三个值归一化到0-1之间 2.softmax公式 例如上述的三个数，y1 = exp(0.1)/( exp(0.1) + exp(1) + exp(10) ) 剩下的以此类推。 在import torch.nn.functi.
pytorch-nllloss-cross_entropy
yuegooxi的博客
04-11 1028
pytorch-nllloss-cross_entropy 一句话描述 交叉熵损失函数等于对softmax结果取自然对数后进行负对数似然计算cross_entropy=log_softmax+nll_loss 官方文档 小例程 # input is of size N x C = 3 x 5 print(torch.__version__) input = torch.randn(3, 5, requires_grad=True) print(input) # each element in target
Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解
NeilPy的博客
07-14 2万+
最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。 本文主要参考了这篇文章，在此基础上加入了一些自己的理解。 Softmax 我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下： Softmax(xi)=...
pytorch验算CrossEntropyLoss ，BCELoss 和 BCEWithLogitsLoss
咕噜咕噜
07-21 1652
目录一. 手算验证交叉熵验证：输出：二. 手算验证BCEwith_loss 和 BCEWithLogitsLoss验证：输出：三. 验证BCE_loss在二分类时是交叉熵的特例验证：输出： ——————————————————————————————————————————————————— 一. 手算验证交叉熵 (class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None,
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
主要介绍了Pytorch损失函数nn.NLLLoss2d()用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch中的NLLLoss和CrossEntropy
upup
01-30 422
直接计算CrossEntropy import torch import torch.nn.functional as F 先按照流程手动计算CrossEntropy class_dim = 3 z = torch.Tensor([[3, 1, -3]]) z tensor([[ 3., 1., -3.]]) softmax过程，图片来自这里 y = torch.nn.Softmax(dim=1)(z) y tensor([[0.8789, 0.1189, 0.0022]]) 注意：交叉熵在信息论
Pytorch损失函数torch.nn.NLLLoss()详解
热门推荐
Jeremy_lf的博客
10-24 5万+
在各种深度学习框架中，我们最常用的损失函数就是交叉熵（torch.nn.CrossEntropyLoss），熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度。交叉熵越小，表示数据越接近真实样本。 交叉熵计算公式： 就是我们预测的概率的对数与标签的乘积，当qk->1的时候，它的损失接近零。 nn.NLLLoss 官方文档中介绍称： nn.NLLLoss...
Pytorch学习之：深度剖析NLLLoss和 CrossEntropy 的区别：代码 + 原理 + 为什么有效
qq_42902997的博客
10-27 1016
与 NLLLoss 的情景一样，我们依然沿用刚才的。['吃', '饭']
nll_loss 和 cross_entropy
weixin_42727538的博客
11-29 1874
nll_loss torhc.nn.functional中给出的关于nll_loss的一个样例 target: 数值 <= C-1, 一般可以看作一个一维列表，存放的是真实类别编号 先经过softmax，再经过log，最后再使用nll_loss # input is of size N x C = 3 x 5 input = torch.randn(3, 5, requires_grad=True) # each element in target has to have 0 <= value
Pytorch中的NLLLoss代码解释
小毛激励我好好学习的博客
09-07 2115
在分类以及语义分割任务中，CrossEntropy是十分常用的一个损失函数，pytorch也对其进行了实现用于直接使用。 但本人在阅读其源码时，发现nn,CrossEropyLoss并不是直接按照交叉熵公式：Loss(p,y)=∑i=1nyilog(pi)Loss(p, y)=\sum_{i=1}^{n}y_ilog(p_i)Loss(p,y)=∑i=1n​yi​log(pi​)计算而得，实际上其是融合了多个计算而成：softmax计算+log计算+nll_loss计算。其具体原理，推荐一篇讲解得十分详细的
Pytorch学习笔记——NLLLoss & CrossEntropyLoss
m0_57126939的博客
02-24 583
NLLLoss(Negative Log Likelihood Loss)图解如下： CrossEntropyLoss(交叉熵损失函数)图解如下： 二者关系为： LogSoftmax+ NLLLoss <===> CrossEntropyLoss 官方文档： CrossEntropyLoss — PyTorch 1.10 documentation NLLLoss — PyTorch 1.10 documentation ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心惠天意

你的鼓励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值