pytorch里的cross_entropy,log_softmax,nll_loss最清楚简单的区分。再也不迷糊！

最新推荐文章于 2024-07-29 17:31:40 发布
最新推荐文章于 2024-07-29 17:31:40 发布
阅读量1k 收藏 1
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37634774/article/details/104247863
版权
这篇博客详细解释了信息论中的自信息、香农熵和交叉熵概念，并深入剖析了PyTorch中cross_entropy、log_softmax和nll_loss的关系。以图像分类为例，说明了log_softmax如何将预测结果转化为概率，nll_loss如何与交叉熵结合用于损失计算。通过理解这些，可以避免在使用中产生混淆。
摘要由CSDN通过智能技术生成

1.首先明白信息论的以下概念：

 

自信息：I（x）代表信息的多少

香农熵H(X)：代表一个分布下自信息的期望，也就是自信息的均值。

交叉熵/cross_entropy/H(P,Q):

注意：上图中的DL(P||Q)指的是KL散度，DEEP LEARNING中模糊了交叉熵 和KL散度的区分，本质上两者是不同的，但deep中用交叉熵代替KL散度来衡量两个分布的差距，具体为什么可以就是因为H（P）=H（target）为定值。

2.pytorch中的cross_entropy,log_softmax,nll_loss

为了方便理解以图像分类为例子 我们有target：（N*C）的Onehot形式（如【0，0，1，0，0】）的标签和pred（N*C）的网络预

最低0.47元/天 解锁文章
垃圾zxd
关注
专栏目录
softmax与CrossEntropyLoss()，log_softmax与 NLLLoss()
联邦学习小白
11-01 708
我们在处理单标签多分类问题时，若考虑用softmax来对模型最后输出作计算以得到各标签的概率分布，那之后可以通过crossentropy做一个似然估计，求得误差 但softmax求出来的概率分布中，每个标签的概率p∈(0,1)，当有些标签的概率过小时就会导致下溢出（实数在计算机内用二进制表示，所以不是一个精确值，当数值过小的时候，被四舍五入为0，这就是下溢出。此时如果对这个数再做某些运算（例如除以它）就会出问题。）。 考虑softmax和crossentropy这个组合方案，crossentropy的计算是
关于pytorch在使用torch.nn.functional.cross_entropy的注意点
perfect1t的博客
07-30 1万+
在使用pytorch实现textcnn进行文本分类时，参考了别人的代码(keras)，在使用torch.nn.functional.cross_entropy纠结了很久，最后发现的下面的文章： https://www.cnblogs.com/marsggbo/p/10401215.html 总结了以下的注意点： 在网络的forward最后输出时不用接softmax，直接全连接输出n类即可。 ...
GroupMamba实战：使用GroupMamba实现图像分类任务（一）
最新发布
AI浩
07-29 1342
EMA是一种加权移动平均技术，其中每个新的平均值都是前一个平均值和当前值的加权和。在深度学习中，EMA被用于模型参数的更新，以减缓参数在训练过程中的快速波动，从而得到更加平滑和稳定的模型表现。
DL - softmax、log_softmax、nll_loss、cross_entropy_loss
AI + 工程
12-04 850
softmax、log_softmax、nll_loss、cross_entropy_loss
pytorch的cross_entropy实现
MacKendy的博客
04-03 4748
据pytorch的官方文档，torch.nn.functional里的cross_entropy是基于log_softmax和nll_loss实现的。 没关系，通过最简单的torch原函数复现，可以较深理解当中的原理。 import torch def my_cross_entropy(input, target, reduction="mean"): # input.shape: torch...
关于Pytorch的softmax与Cross_entropy交叉熵的测试
dhldxcycsdn的博客
02-27 1262
主要是搞不清在使用CrossEntropyLoss是的输入大小size。于是分析了softmax，Nll_loss，crossentropyloss三个函数。因为 crossentropyloss = softmax + Nll_loss。 1、官方文档 def nll_loss(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean'):
pytorch 里的log_softmax, nll_loss, cross_entropy
shuijinghua的博客
11-28 1万+
import torch.nn.functional as F 常用的函数有： log_softmax,nll_loss, cross_entropy 1.log_softmax, 就是log和softmax合并在一起执行 2. nll_loss ,函数全称是negative log likelihood loss, 函数表达式为 例如：假设x=[1,2,3], class=2...
Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解
NeilPy的博客
07-14 2万+
最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。 本文主要参考了这篇文章，在此基础上加入了一些自己的理解。 Softmax 我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下： Softmax(xi)=...
Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】
qq_43456497的博客
05-24 1720
softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）：在softmax的基础上取对数NLLLoss：对log_softmax与one-hot进行计算：衡量两个概率分布的差别（交叉熵）在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss。
pytorch笔记：03)softmax和log_softmax，以及CrossEntropyLoss
Javis486的专栏
03-19 1万+
softmax在神经网络里面比较常见，简而言之，就是多分类的概率输出 sotfmax(xi)=exp(xi)∑jexp(xj)sotfmax(xi)=exp⁡(xi)∑jexp⁡(xj)sotfmax(x_i)=\frac{\exp(x_i)}{\sum_j \exp(x_j)} 但是在pytorch里面发现额外有个log_softmax(对softmax取了一个In的对数)，为啥这样做呢？ ...
pytorch的F.cross_entropy交叉熵函数和标签平滑函数
yingzi的技术博客
10-28 2425
标签平滑是一种损失函数的修正，它将神经网络的的训练目标从“1”调整为“1 - label smoothing adjustment”，这意味着神经网络被训练得对自己的答案不是那么自信，NN有一个坏习惯，在训练过程中对预测变得“过于自信”，这可能会降低它们的泛化能力，从而在新的、看不见的未来数据上表现得同样“出色”，此外，大型数据集通常会包含标签错误的数据，这意味着神经网络在本质上应该对“正确答案”持怀疑态度，以减少一定程度上围绕错误答案的极端情况下建模。N：样本个数，C：类别数。最后计算每个样本的均值。
【pytorch】使用numpy实现pytorch的softmax函数与cross_entropy函数
安安爸Chris的专栏
06-03 4104
公式 Softmax(xi)=exp⁡(xi)∑jexp⁡(xj) {Softmax}(x_{i}) = \frac{\exp(x_i)}{\sum_j \exp(x_j)} Softmax(xi​)=∑j​exp(xj​)exp(xi​)​ 结果一致 从源码上来看，torch.nn.functional.F.softmax实际上调用的是Tensor自身的softmax函数 公式 Log_softmax(xi)=lnexp⁡(xi)∑jexp⁡(xj) {Log\_softmax}(x_{i}) = ln
【pytorch】交叉熵损失函数 F.cross_entropy()
十一月廿七风雨大作
02-04 7807
F.cross_entropy(x,y)   cross_entropy(x,y)是交叉熵损失函数，一般用于在全连接层之后，做loss的计算。   其中x是二维张量，是全连接层的输出；y是样本标签值。x[batch_size,type_num];y[batch_size]。   cross_entropy(x,y)计算结果是一个小数，表示loss的值。 举例说明 x = np.array([[1, 2,3,4,5],#共三3样本，有5个类别 [1, 2,3,4,5], .
Pytorch的CrossEntropyLoss以及LogSoftmax和NLLLoss学习
Charinfield的专栏
02-16 3101
机器学习中的分类问题常用到交叉熵作为损失函数，那么Pytorch中如何使用交叉熵损失函数呢？这就涉及到torch.nn中的三个类：nn.LogSoftmax、nn.NLLLoss、nn.CrossEntropyLoss，今天剖析一下这几个类，便于以后查找。 一、nn.LogSoftmax softmax常用在网络的输出层上，以得到每个类别的概率，顾名思义，nn.LogSoftmax就是对softmax的结果取了一个log。 来源：https://pytorch.org/docs/stable/
pytorch 中的softmax, log_softmax, nn.CrossEntropyLoss和NLLLoss
liguiyuan的博客
01-06 3528
1. softmax和softmax loss知识学习 在进行图像分类和分割任务时，经常会用到softmax和softmax loss，今天就来彻底搞清楚这两个的区别。 softmax softmax是用来输出多个分类的概率的，可以作为网络的输出层。softmax的定义如下： 其中z是softmax的输入，f(z)是softmax的输出，k代表第k个类别。 sotfmax ...
【Pytorch】交叉熵损失函数 CrossEntropyLoss() 详解
热门推荐
weixin_44211968的博客
04-01 3万+
文章目录一、损失函数 nn.CrossEntropyLoss()二、什么是交叉熵三、Pytorch 中的 CrossEntropyLoss() 函数参考链接 一、损失函数 nn.CrossEntropyLoss() 交叉熵损失函数 nn.CrossEntropyLoss() ，结合了 nn.LogSoftmax() 和 nn.NLLLoss() 两个函数。 它在做分类（具体几类）训练的时候是非常有用的。 二、什么是交叉熵 交叉熵主要是用来判定 实际的输出与期望的输出的接近程度。 举个例子：在做分类训练的
F.cross_entropy和F.nll_loss交叉熵以
weixin_44523062的博客
05-21 1285
搞懂函数的区别的最好方法就是产看函数的底层实现。 首先可以在pytorch中分别点击进入函数内部，看他们的具体实现。 1、F.cross_entropy的内部实现是： 并且cross_entropy函数的返回值是： 2、F.nll_loss的内部实现是： 3、结论 这里先上结论...
PyTorch二分类时BCELoss，CrossEntropyLoss，Sigmoid等的选择和使用
qysh123的专栏
09-08 8177
这两天我们有一篇顶会的论文需要Minor Revision，reviewer说让我们在网络图中把fully connected layer画出来。对到底应该画图、画到多详细有点疑问，所以简单总结一下。 我们在论文中解决的是一个二分类的问题，我们说hidden state送入fully connected layer+sigmoid做分类，但没有在网络图中画出来，有reviewer就让我们改图了。不过画了fully connected layer，还需要画sigmoid吗？这里就总结一下使用PyTorch做
F.cross_entropy
04-10
F.cross_entropy是PyTorch中的交叉熵损失函数，用于计算分类问题的损失。它的计算过程可以分为三个步骤：softmax、log和nll_loss[^1]。 1. softmax：对输入进行softmax操作，将每个元素转化为一个概率值，使得所有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值