从交叉熵（CrossEntropy）到交叉熵损失函数（CrossEntropy Loss）

所谓交叉熵，这篇文章《什么是交叉熵》讲的很明白。设X是预测分布，Y是真实分布，交叉熵H(X, Y)的表达式为：
$$H(X,Y)=-\sum _{i}Y[i]\log X[i]$$

其中$log$表示自然对数，以$e$为底数，不是10为底数。
再看到Pytorch Document中对交叉熵损失函数的描述为：
$$loss(X,class)=-\log (\frac{exp(X[class])}{{\sum }_{j}exp(X[j])})$$

那么交叉熵$H(X,Y)$是怎么到交叉熵损失函数$loss(X,class)$的呢?
首先，一般网络的流程是，将神经网络的输出值X输入$Softmax$后再输入交叉熵损失函数，$Softmax$的表达式如下：
$$Softmax(X,i)=\frac{exp(X[i])}{{\sum }_{j}exp(X[j])}$$

用以训练的标签通常是在正确的那一类标1，其他错误的类全标0，交叉熵损失函数$loss(X,class)$中的$class$即表示这个样本的正确分类，也就是$H(X,Y)$中的真实分布$Y$，即$Y_{i=class}=1,Y_{i\ne class}=0$，所以有
$$H(X,Y)=-\sum _{i}Y[i]\log X[i]=-\log X[class]$$

又有$X_{class}=Softmax(X,class)$，所以
$$H(X,Y)=-\log X[class]=-\log Softmax(X,class)=-\log (\frac{exp(X[class])}{{\sum }_{j}exp(X[j])})=loss(X,class)$$