torch.nn中NLLLoss与CrossEntropyLoss比较详解

本篇文章中我们将详细比较torch.nn中两个损失函数类NLLLoss与CrossEntropyLoss，首先我们将介绍负对数似然和交叉熵，其次我们再介绍在Pytorch中两个类具体的执行计算方式。

数学推导

我们来考虑一个$n$分类问题， 为了使讨论更为简洁，我们这里只考虑一个样本(sample)，输入为$\mathbf{x}$ ，经模型输出为$logits$，经过Softmax归一化后预测概率分布为$\hat{y}=Softmax(logits)=[p_1,p_2,\dots ,p_n{]}^T$，真实标签为 $\mathbf{y}$，假设该样本实际上属于第$c$类，即$\mathbf{y}=[y_1,y_2,\dots ,y_n{]}^T=[0,0,\dots ,1,\dots ,0{]}^T$为one-hot向量。
我们想要最大化样本属于真实类别$c$的概率， 即最小化负对数似然(negetive log likelihood)
$$\begin{array}{rl}NLL& =-LogP(\hat{y}|x)=-log{p}_c\end{array}\text{\hspace{1em}(1)}$$
另外要注意深度学习中$log$函数往往指的是$ln$函数，即自然对数。
而我们知道$\mathbf{y}$为one-hot向量，只有第$c$维位置为1，故
$$\begin{array}{rl}NLL& =-log{p}_c\\ & =-1\cdot log{p}_c\\ & =-(0\cdot log{p}_1+0\cdot log{p}_2+\cdots +1\cdot log{p}_c+\cdots +0\cdot log{p}_n)\\ & =-\sum _{i=1}^n{y}_{i}log{p}_i\\ & =-\mathbf{y}\cdot log\hat{\text{y}}\end{array}\text{\hspace{1em}(2)}$$
最后结果即为交叉熵(Cross Entropy)
$$CE=-\mathbf{y}\cdot log\hat{\text{y}}\text{\hspace{1em}(3)}$$
所以对于n分类问题，两者是等价的。

代码实践

但事实上在Pytorch中，具体的执行计算方式有所不同。
由公式(2)我们可得到
$$\begin{array}{rl}CE& =-\mathbf{y}\cdot LogSoftmax(logits)\end{array}\text{\hspace{1em}(4)}$$
而CrossEntropyLoss()事实上是对logits进行LogSoftmax计算交叉熵，但是NLLLoss()并没有这一步，需要对模型输出的logits外加LogSoftmax操作。
下面我们通过代码演示来展示在Pytorch框架中两种损失函数的实际应用区别。

import torch.nn as nn
import torch.nn.functional as F
nnl = nn.NLLLoss()
ce = nn.CrossEntropyLoss()
ls = nn.LogSoftmax(dim=-1)
logits = torch.rand(3)
target = torch.tensor(1)
print(logits)
loss1 = nnl(ls(logits), target)
loss2 = ce(logits, target)
print(loss1)
print(loss2)
# output
#tensor([0.0437, 0.1241, 0.2193])
#tensor(1.1061)
#tensor(1.1061)

所以我们最终可以总结为
$$nn.LogSoftmax()\&nn.NLLLoss()\iff nn.CrossEntropyLoss()$$