NLLLoss详解

已于 2022-04-29 17:16:22 修改
阅读量6.7k 收藏 3
点赞数 3
CC 4.0 BY-SA版权
分类专栏： NLP 文章标签： python pytorch 损失函数 NLLLoss CE_Loss
于 2022-04-22 12:43:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/124342281
NLP 专栏收录该内容
89 篇文章 ¥29.90 ¥99.00
订阅专栏
本文详细探讨了NLLLoss，解释了它的中文含义、函数参数、输入输出，并通过对比分析了NLLLoss与CE_Loss的区别和联系，指出CE_Loss等价于NLLLoss结合log_SoftMax操作。

文章目录

题目

NLLLoss+log_SoftMax=CE_Loss

前言

差不多好几天没有更新了，唉，最近有点忙，请见谅！今天终于忙里偷闲看了B站视频发现NLLLoss+log_SoftMax=CE_Loss，哈哈，又长见识了，那么今天来深入了解一下吧！

NLLLoss

中文

负对数似然损失

函数
torch.nn.NLLLoss(
	weight=None, 
	size_average=None, 
	ignore_index=
了解本专栏 订阅专栏 解锁全文
损失函数总结（四）：NLLLoss、CTCLoss
走在深度学习前沿的小宋
10-25 1902
本文对损失函数进行了部分总结，包括：NLLLoss、CTCLoss等损失函数及其在当前损失函数众多的情况下使用的环境。总的来说：NLLLoss 和 CrossEntropyLoss 是一致的，且具有相同作用；CTCLoss则广泛用于各种时间序列任务。。。
torch.nn中NLLLoss与CrossEntropyLoss比较详解
m0_67146053的博客
01-11 1681
本篇文章中我们将详细比较torch.nn中两个损失函数类NLLLoss与CrossEntropyLoss，首先我们将介绍负对数似然和交叉熵，其次我们再介绍在Pytorch中两个类具体的执行计算方式。
BCELoss、crossentropyLoss、NLLLoss的使用（pytorch）
纸上得来终觉浅，绝知此事要躬行！
03-19 1084
文章目录BCELoss参考文档理解demo应用crossentropyLoss、NLLLoss参考文档crossEntropyLossNLLLoss BCELoss 用于二分类问题，计算loss值，与sigmoid函数一起使用（就是逻辑回归的那个公式，线性外面套一个sigmoid函数） 参考文档 pytorch-BCELoss 理解 看它的参数说明大概能知道： 参数 weight（张量*，*可选）–对每个批次元素的损失赋予的手动重新缩放重量。如果给定，则必须是大小为nbatch的张量。 size_av
NLL loss（负对数似然损失）
Drug discovery
03-09 1万+
损失函数
【损失函数】NLLLoss损失、CrossEntropy_Loss交叉熵损失以及Label Smoothing示例与代码
风巽·剑染春水的博客
10-30 2670
机缘巧合下，近期又详细学习了一遍各损失函数的计算，特此记录以便后续回顾。为了公式表示更加清晰，我们设yn​∈{1,2,…,K}为样本n的真实标签，v=(v1​,v2​,…vK​)为网络的输出，即样本n的预测结果，设N为一批样本的数目（即Batch size），K为分类任务的类别数目。
NLL_Loss
avk88662的博客
09-04 1910
先放上官方用法 torch.nn.functional.nll_loss(input,target,weight=None,size_average=None,ignore_index=-100,reduce=None,reduction='mean') 一般只赋值前两个张量就可以了。 转载于:https://www.cnblogs.com/KevinSmith/p/1...
Pytorch中的NLLLoss代码解释
小毛激励我好好学习的博客
09-07 2377
在分类以及语义分割任务中，CrossEntropy是十分常用的一个损失函数，pytorch也对其进行了实现用于直接使用。 但本人在阅读其源码时，发现nn,CrossEropyLoss并不是直接按照交叉熵公式：Loss(p,y)=∑i=1nyilog(pi)Loss(p, y)=\sum_{i=1}^{n}y_ilog(p_i)Loss(p,y)=∑i=1n​yi​log(pi​)计算而得，实际上其是融合了多个计算而成：softmax计算+log计算+nll_loss计算。其具体原理，推荐一篇讲解得十分详细的
深度学习关于NLLLoss损失的数学向个人详解
Axh1ne的博客
04-13 2837
就得减小，根据其图像可知，随着其减小，softmax(x)的值必然增大。由于网络在这个过程中输出的其实就是加了softmax激活函数的softmax(x)，就能理解为，训练网络降低NLLLoss的过程中，网络计算出的样本属于其类的概率值越趋近于1。"" 然后就是对softmax的结果取对数，做log运算，再接着就是假设标签是[0, 1, 2]，第一行取第0个元素，第二行取第1个，第三行取第2个，去掉负号，即[0.3168, 3.3093, 0.4701], 求平均值，就可以得到损失值。
Pytorch详解NLLLoss和CrossEntropyLoss、以及softmax和log_softmax
vincent_duan的专栏
09-02 2900
数据 import torch import torch.nn.functional as F import numpy as np # 随机新建3个样例数据，每个样例数据包含4个属性特征 input = torch.randn(3,4) tensor([[ 0.0054, -0.8030, -0.5758, -0.6518], [-0.5518, 0.3904, 0.5296, 0.4973], [ 0.1608, 0.5822, 0.9536, -0.3173
【损失函数】(三) NLLLoss原理 & pytorch代码解析
Lizhi_Tech的博客
07-31 1万+
接下来应该要介绍分类任务里最常用的CrossEntropyLoss，但是CrossEntropyLoss里面用到了NLLLoss，所以我们先了解NLLLoss是什么。NLLLoss全名叫做Negative Log Likelihood Loss，顾名思义，输入就是log likelihood，对输入的对应部分取负号就是这个loss的输出了，公式可以表示为：其中是每个类别的权重，默认的全为1，表示对应target那一类的概率。更简单一点来说，就是将对应类别的x输出取负值。
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
主要介绍了Pytorch损失函数nn.NLLLoss2d()用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
交叉熵损失函数和NLL_loss
yimenren的博客
03-21 4344
损失函数｜交叉熵损失函数 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/35709485
深度学习-NLLLoss函数
m0_72678524的博客
08-21 709
假设我们有一个向量z=[z1,z2,...,zn]，其中zi是模型对第ii个类别的原始输出（未经过任何非线性变换）。首先，我们需要应用LogSoftmax函数来得到每个类别的对数概率：这里的li是第i个类别的对数概率。对于每个样本ii，假设真实标签为yiyi​，则NLLLoss函数计算的是真实标签对应的对数概率的负值：对于整个批次的数据，NLLLoss函数的总损失是所有样本损失的平均值：其中N是批次中样本的数量。
深入理解交叉熵损失CrossEntropyLoss - nn.NLLLoss（Negative Log-Likelihood Loss）
二分掌柜的
06-09 2167
flyfish
loss函数之NLLLoss，CrossEntropyLoss
ltochange的博客
06-15 4770
NLLLoss 负对数似然损失函数，用于处理多分类问题，输入是对数化的概率值。 对于包含NNN个样本的batch数据 D(x,y)D(x, y)D(x,y)，xxx 是神经网络的输出，并进行归一化和对数化处理。yyy是样本对应的类别标签，每个样本可能是CCC种类别中的一个。 lnl_{n}ln​ 为第nnn个样本对应的losslossloss，0≤yn≤C−10 \leq y_{n} \leq C-10≤yn​≤C−1 ln=−wynxn,ynl_{n}=-w_{y_{n}} x_{n, y_{n}}ln​
深度学习方法——NLLloss简单概括
时生的博客
04-21 1万+
简单概括一下NLLloss都干了些什么，侧重于概念的总结，不对参数做过多说明。
【pytorch笔记】损失函数nll_loss
热门推荐
GentleCP的博客
06-07 2万+
本文主要讲解在使用pytorch中对损失函数`nll_loss`的一些理解与思考。
NLL_Loss & CrossEntropyLoss（交叉熵）
Tabbyddd的博客
05-13 6510
EntropyLoss** 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小，说明二者之间越接近。 实际上，可以认为： CrossEntropyLoss = log_sofrmax + NLLLoss 在对图片进行分类时，通常会一次性输入n张图片，最后得出一个n*c的tensor，c是此次分类的类别数： 比如：n=10,c=2，表示一共10张图片，类别为2类 output = torch.tensor([[-2.8799, 1.1380], [ 0.4756, -0.277
**损失函数nll_loss**
Summer_crown的博客
04-16 526
损失函数nll_loss https://www.gentlecp.com/articles/874.html ↑↑↑有详细说明↑↑↑ nll_loss 函数接收两个tensor第一个是模型的output，第二个是label target，output中每一行与一个标签中每一列的元素对应，根据target的取值找出output行中对应位置元素，求和取平均值。 转载请注明：求索 » 【pytorch笔记】损失函数nll_loss ...
NLLLoss和softmax详解
最新发布
01-03
### NLLLoss 和 Softmax 的工作原理 #### 负对数似然损失 (NLLLoss) 负对数似然损失（Negative Log Likelihood Loss, NLLLoss）是一种常用于分类任务的损失函数。该损失函数衡量的是预测的概率分布与真实标签之间...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值