PyTorch中Cross Entropy Loss的用法与背景

重点提示

注意，PyTorch的Cross Entropy Loss与其它框架的不同，因为PyTorch中该损失函数其实自带了“nn.LogSoftmax”与“nn.NLLLoss”两个方法。因此，在PyTorch的Cross Entropy Loss之前请勿再使用Softmax方法！

使用场景

当现在面临多分类问题（不限于二分类问题）需要Loss函数时，Cross Entropy Loss是一个很方便的工具。

公式

$$\text{loss}(x,class)=-\log \left(\frac{\exp (x[class])}{{\sum }_j\exp (x[j])}\right)=-x[class]+\log \left(\sum _j\exp (x[j])\right)$$
其中class为样本x的类别，x[class]为样本类别对应的预测分数；对于中间的公式，核心思想就是计算样本目标类别分值的softmax后取负对数作为分类损失。

数学背景

$$设s=\frac{\exp (x[class])}{{\sum }_j\exp (x[j])}$$
易知s其实是分类正确的概率，介于0~1之间；对照着log函数的图像可以看出，当s=1时（此时分类完全正确），取完对数为0；当s接近0时（分类完全错误），取完对数为负无穷，取复数后变为正无穷；恰好可以充当loss函数：分类正确时损失为0，分类越错误损失越大。

除此之外，可以看出log函数越接近0，梯度越大；log函数越接近1，梯度越小。因此在更新参数时，当网络分类错的很离谱（loss较大时），求导后会得到比较大的梯度，从而大幅更新网络参数；随着网络正确率的升高，梯度也会逐渐平缓，渐渐进入“微调阶段”。

用法

loss = torch.nn.CrossEntropyLoss()
output = loss(input, target)
output.backward()

其中，input为样本的预测结果矩阵，形状为（样本数量，类别数量），例如100个样本实现二分类形状就是（100，2），每一列的index分别表示对应的类别；target为标签向量，形状为（样本数量），其中为各样本对应的类别index。
假如是二分类，对应的最理想（完全正确）的预测结果应如下所示：

target：1，0，1

input：

0（类）	1（类）
0	1
1	0
0	1

target向量的长度为3，说明现在有三个样本，其中第一个、第三个样本的标签均为1，第二个样本的标签为0；而input矩阵的形状为（3，2），每行为对应样本的预测结果分值，而每列为对应类别的分值。当我们希望获得当前样本被分类为1的分值时，我们取第1列，对应的向量为（1，0，1）；当我们希望获得当前样本被分类为0的分值时，我们取第0列，对应的向量为（0，1，0）

实际预测中，很少能达到这么完美的情况，加上CrossEntropyLoss一般与Softmax连用，因此input矩阵中的每个元素表示的其实是第i个样本（i行）被分类为j类（j列）的概率。

我们以二分类为例，如下所示：
input：

0（类）	1（类）
0.3	0.7
0.6	0.4
0.2	0.8

该input矩阵表示的其实是第1个样本被分类到1类的概率是0.7，第2个样本被分类到1类的概率是0.4，第3个样本被分类到1类的概率是0.8。