【新人向】Pytorch中NLLLoss()和CrossEntropyLoss()的区别和联系

！本篇介绍的是Pytorch中两个函数的计算原理，并不是严格数学含义

一、NLLLoss

NLLLoss全称是Negative Log Likelyhood Loss，负对数似然损失函数。

例子1

假设模型预测结果：某张图片为猫、狗、猪八戒的测概率的分别是$[0.18,0.18,0.64]$。

但其实这张图片应该属于第3个类别——猪八戒。

看一下模型预测结果为猪八戒的预测值y_hat=0.64，我们希望它为1，即真实值y=1。

那么代入公式可以算出这张图片的交叉熵损失：

$L(\hat{y}=0.64,y=1)=-[1\times log(0.64)+(1-1)\times log(1-0.64)]$

从公式中可以看到，加号后半部分为0，实际Loss值等于前半部分。

另外，假如有多张图片怎么搞？

很简单，如果有10张，那么就求出10个loss值，然后对每个loss乘上十分之一，然后相加，作为最终的loss。

二、CrossEntropyLoss

交叉熵损失函数：

其中y_hat是预测的概率值，y是真实的概率值。

如果模型最后输出某张图片的分别为每个类别的可能程度(不是概率值)，然后经过softmax:

我们就能得到这张图片为个类别的概率值。

例子 2

假设模型预测结果：某张图片为猫、狗、猪八戒的可能程度为$[1,3,1,3,2.6]$，

经过softmax函数计算，

得到预测概率的分别是$[0.18,0.18,0.64]$。

但其实这张图片应该属于第3个类别——猪八戒。

看一下模型预测结果为猪八戒的预测值y_hat=0.64，我们希望它为1，即真实值y=1。

那么代入公式可以算出这张图片的交叉熵损失：

$L(\hat{y}=0.64,y=1)=-[1\times log(0.64)+(1-1)\times log(1-0.64)]$

从公式中可以看到，加号后半部分为0，实际Loss值等于前半部分。

另外，假如有多张图片怎么搞？

很简单，如果有10张，那么就求出10个loss值，然后对每个loss乘上十分之一，然后相加，作为最终的loss。

三、两者联系

同为损失函数。

四、两者区别

softmax + NLLLoss = CrossEntropyLoss

细心的你应该已经发现了，在Pytorch中，CrossEntropyLoss可以直接接到模型结果之后，直接得出交叉熵损失。

而NLLLoss需要在模型结果后先接一个Softmax，将模型结果变成概率，再用NLLLoss求预测损失。

参考感谢

[1] https://blog.csdn.net/qq_22210253/article/details/85229988
[2] https://www.cnblogs.com/ranjiewen/p/10059490.html
[3] http://baike.sogou.com/v74467907.htm?fromTitle=损失函数
[4] 交叉熵损失