nn.CrossEntropyLoss()的计算过程

最新推荐文章于 2024-04-09 17:09:52 发布
最新推荐文章于 2024-04-09 17:09:52 发布
阅读量1.3k 收藏
点赞数
分类专栏： Pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43739296/article/details/120952159
版权

nn.CrossEntropyLoss()中的计算方法：
在这里插入图片描述
原公式为：
loss = -(y1logp1 + y2logp2 + y3logp3 + … + ynlogpn)

y1, y2, …,yn为ground-truth标签，
p1, p2, …, pn为prediction

计算时,y3=1， 其他类别的标签=0， 原公式等同于：
loss = -logp3

可以看到：
真实标签被处理为one-hot型
交叉熵公式的计算已经包含了softmax，因此网络中以及网络得到的结果不再需要进行softmax

哈宝可爱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
主要介绍了Pytorch损失函数nn.NLLLoss2d()用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch中交叉熵损失nn.CrossEntropyLoss()的真正计算过程
qq_44523137的博客
09-30 5189
关于nn.Cross Entropy Loss的真正理解 对于多分类损失函数Cross Entropy Loss，就不过多的解释，网上的博客不计其数。在这里，讲讲对于CE Loss的一些真正的理解。 首先大部分博客给出的公式如下： 其中p为真是标签值，q为预测值。 在低维复现此公式，结果如下。在此强调一点，pytorch中CE Loss并不会将输入的target映射为one-hot编码格式，而是直接取下标进行计算。 import torch import torch.nn as nn import mat
PyTorch基础——torch.nn.CrossEntropyLoss交叉熵损失
gy笨瓜的博客
12-13 4235
torch.nnCrossEntropyLosss使用的公式 loss(x,class)=−log(exp(x[class]∑exp(x[j]))loss(x,class)=-log(\frac {exp(x[class]} {\sum exp(x[j])})loss(x,class)=−log(∑exp(x[j])exp(x[class]​)
神经网络的损失函数——nn.CrossEntropyLoss()
最新发布
qq_53536373的博客
04-09 632
交叉熵损失函数会自动对输入模型的预测值进行softmax。因此在多分类问题中，如果使用nn.CrossEntropyLoss()，则预测模型的输出层无需添加softmax层。默认是“mean” 也就是说当loss_func_none = nn.CrossEntropyLoss()时 会输出一组batch 的损失平均值。tgt表示样本类别的真实值，有两种表示形式，一种是类别的index，另一种是one-hot形式。
对于pytorch中nn.CrossEntropyLoss()与nn.BCELoss()的理解和使用
qq_35605081的博客
09-02 1万+
在pytorch中nn.CrossEntropyLoss()为交叉熵损失函数，用于解决多分类问题，也可用于解决二分类问题。 nn.BCELoss()为二元交叉熵损失函数，只能解决二分类问题。
Pytorch损失函数之nn.NLLLoss与nn.CrossEntropyLoss
MacKendy的博客
05-23 1855
1. 先说结论 nn.CrossEntropyLoss（简称CEL）等于nn.NLLLoss（简称NLL）+torch.log+F.softmax 主要用于多分类问题的损失计算。 图为Pytorch对于CEL的描述，这个criterion（指标）结合了nn.LogSoftmax()和nn.NLLLoss() nn.LogSoftmax()其实也就是torch.log+F.softmax 2.CrossEntropyLoss(CEL)公式分解 CEL(x,class)=−log(exp⁡(x[class])
nn.CrossEntropyLoss()交叉熵损失函数
weixin_45414792的博客
10-15 4万+
在pytorch中nn.CrossEntropyLoss()为交叉熵损失函数，用于解决多分类问题，也可用于解决二分类问题。 BCELoss是Binary CrossEntropyLoss的缩写，nn.BCELoss()为二元交叉熵损失函数，只能解决二分类问题。在使用nn.BCELoss()作为损失函数时，需要在该层前面加上Sigmoid函数，一般使用nn.Sigmoid()即可， 而在使用nn.CrossEntropyLoss()其内部会自动加上Sofrmax层。下面会详细说明。 nn.CrossEn
nn.CrossEntropyLoss()的具体计算过程
信小海
07-26 2821
nn.CrossEntropyLoss()函数的具体计算过程展示。
【Pytorch】交叉熵损失函数 CrossEntropyLoss() 详解
weixin_44211968的博客
04-01 3万+
文章目录一、损失函数 nn.CrossEntropyLoss()二、什么是交叉熵三、Pytorch 中的 CrossEntropyLoss() 函数参考链接 一、损失函数 nn.CrossEntropyLoss() 交叉熵损失函数 nn.CrossEntropyLoss() ，结合了 nn.LogSoftmax() 和 nn.NLLLoss() 两个函数。 它在做分类（具体几类）训练的时候是非常有用的。 二、什么是交叉熵 交叉熵主要是用来判定 实际的输出与期望的输出的接近程度。 举个例子：在做分类训练的
PyTorch学习笔记：nn.CrossEntropyLoss——交叉熵损失
qq_50001789的博客
02-10 5316
PyTorch学习笔记：nn.CrossEntropyLoss——交叉熵损失
pytorch损失函数之nn.CrossEntropyLoss()【内含softmax推导】
LIsaWinLee的博客
07-30 5332
nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合
细数nn.BCELoss与nn.CrossEntropyLoss的区别
12-20
以前我浏览博客的时候记得别人说过，BCELoss与CrossEntropyLoss都是用于分类问题。可以知道，BCELoss是Binary CrossEntropyLoss的缩写，BCELoss　CrossEntropyLoss的一个特例，只...2、使用nn.CrossEntropyLoss会自动
nn.CrossEntropyLoss()
01-20
criterion = nn.CrossEntropyLoss() output = torch.randn(3, 5, requires_grad=True) label = torch.empty(3, dtype=torch.long).random_(5) loss = criterion(output, label) print(网络输出为3个5类:) print...
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch中的CrossEntropyLoss()函数案例解读和结合one-hot编码计算Loss
01-20
criterion = nn.CrossEntropyLoss().cuda() loss = criterion(output, target) 即使用torch.nn.CrossEntropyLoss()作为损失函数。 那nn.CrossEntropyLoss()内部到底是啥？？ nn.CrossEntropyLoss()是torch.nn中包装...
TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法
01-20
在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？ 首先明确一点，loss是代价值，也就是我们要最小化的值 tf.nn.softmax_cross_entropy_with_logits(logits,...
pytorch损失函数之nn.CrossEntropyLoss()、nn.NLLLoss()
热门推荐
geter_CS的博客
12-06 15万+
这个损失函数用于多分类问题虽然说的交叉熵，但是和我们理解的交叉熵不一样
Pytorch--新手入门，对于内置交叉熵损失函数torch.nn.CrossEntropyLoss()的了解
SHY0978的博客
09-27 2632
对于内置交叉熵损失函数torch.nn.CrossEntropyLoss()的了解
关于nn.CrossEntropyLoss交叉熵损失中weight和ignore_index参数
Henry的博客
04-13 5848
因为，label = 1有一个，label = 0 有两个，所以1的样本较少，这里就对label = 1设置权重大点。所以，loss = -(ln0.69+ln0.3543+ln0.5987)/3 = -（ln0.1464） / 3 = 0.6406。所以，在样本不均衡的情况下，加label少的样本，w加大，可以将loss变大，从而梯度下降的时候可以更好的弥补样本不平衡的问题。可以发现，label 是 0 1 2 三类，这里将label = 2的忽略，并且对0 1 2施加的权重为 2 1 2。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值