pytorch 中 nn.CrossEntropyLoss 理解

最新推荐文章于 2024-04-17 19:23:21 发布

weixin_43288596

最新推荐文章于 2024-04-17 19:23:21 发布

阅读量687

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/weixin_43288596/article/details/106329067

版权

Python 专栏收录该内容

13 篇文章 0 订阅

订阅专栏

在看代码的时候。发现输出未经过softmax的值直接送入CrossEntropyLoss。觉得这里有问题。

https://zhuanlan.zhihu.com/p/98785902

sum up:

1.torch的crossEntropy里三个过程1.softmax，2.取log，3.NLLLoss 取label位置上那个log值取均值(是否取均值可由参数设置)。

2.如果logit不经过softmax的话，直接取交叉熵的影响：因为交叉熵是取label=1位置上的logx。x>0，1.logit无法保证x>0；2.如果x都>0,out=softmax(X) 的大小分布和X中一致，但是实际值loss，则反向传播计算梯度时，梯度值会产生影响，而logloss的梯度最终等于ai-yi（ai预测值，yi是label），所以对每个输出值的梯度都不一致，影响整体梯度下降的方向。所以l必须经过softmax计算交叉熵。

如果理解有误的话，请指出，谢谢~

logloss求梯度：https://blog.csdn.net/qian99/article/details/78046329