pytorch 中 nn.CrossEntropyLoss 理解

在看代码的时候。发现输出未经过softmax的值直接送入CrossEntropyLoss。觉得这里有问题。

https://zhuanlan.zhihu.com/p/98785902

sum up:

1.torch的crossEntropy里三个过程1.softmax，2.取log，3.NLLLoss 取label位置上那个log值取均值(是否取均值可由参数设置)。

2.如果logit不经过softmax的话，直接取交叉熵的影响：因为交叉熵是取label=1位置上的logx。x>0，1.logit无法保证x>0；2.如果x都>0,out=softmax(X) 的大小分布和X中一致，但是实际值loss，则反向传播计算梯度时，梯度值会产生影响，而logloss的梯度最终等于ai-yi（ai预测值，yi是label），所以对每个输出值的梯度都不一致，影响整体梯度下降的方向。所以l必须经过softmax计算交叉熵。

如果理解有误的话，请指出，谢谢~

logloss求梯度：https://blog.csdn.net/qian99/article/details/78046329