为什么使用 CE + Softmax 作为损失函数

假设

假设有三个分类，模型输出值为 output = model(input)，得到如下输出向量
$$[o_1,o_2,o_3]$$
表示每个类别的概率值，然后将该向量进行 softmax 操作，得到 $[S_1,S_2,S_3]$，$S_i$ 的计算公式为：
$$S_i=\frac{e^{o_i}}{\sum e^{o_k}}=\frac{e^{o_i}}{e^{o_0}+e^{o_1}+e^{o_2}}$$

导数的除法规则

$${\left(\frac{u}{v}\right)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$$

求导

使用链式法则反向传播误差，例如
$$\frac{\partial L}{\partial \omega }=\frac{\partial L}{\partial S}\frac{\partial S}{\partial o}\frac{\partial o}{\partial \omega }$$

需要求得 $S_i$ （$S_i$ 是经过 argmax 或者其他方式选出来的 $[S_1,S_2,S_3]$ 中的某个值）与每个输出值 $o_i$ 的偏微分，即
$$\frac{\partial S_i}{\partial o_j}$$

这里分两种情况，当 $i=j$ 时 ，根据导数的除法规则
$$\begin{array}{rl}\frac{\partial S_i}{\partial o_i}& =\frac{\partial }{\partial o_j}\left(\frac{e^{o_i}}{\sum e^{o_k}}\right)\\ & =\frac{e^{o_i}\sum e^{o_k}-e^{o_i}{e}^{o_i}}{(\sum e^{o_k}{)}^2}\\ & =S_i-S_i^2\\ & =S_i(1-S_i)\end{array}$$

当 $i\ne j$ 时，
$$\begin{array}{rl}\frac{\partial S_i}{\partial o_j}& =\frac{\partial }{\partial o_j}\left(\frac{e^{o_i}}{\sum e^{o_k}}\right)\\ & =\frac{0-e^{o_i}{e}^{o_j}}{(\sum e^{o_k}{)}^2}\\ & =-S_i{S}_j\end{array}$$

CE + Softmax

CE 公式：
$$L=-\sum y_i\log S_i$$

所以
$$\frac{\partial L}{\partial S_i}=-\sum y_i\frac{1}{S_i}$$

所以
$$\begin{array}{rl}\frac{\partial L}{\partial o_j}=\frac{\partial L}{\partial S_i}\frac{\partial S_i}{\partial o_j}& =-\sum _{i=j}{y}_i\frac{1}{S_i}(S_i(1-S_i))+\sum _{i\ne j}{y}_i\frac{1}{S_i}(S_i{S}_j)\\ & =-\sum _{i=j}{y}_i(1-S_i)+\sum _{i\ne j}{y}_i{S}_j\\ & =-y_j+y_j{S}_j+\sum _{i\ne j}{y}_i{S}_j\\ & =-y_j+S_j\sum y_i\end{array}$$

因为 $y_i$ 是 one hot 编码，或者 label smooth 后的值，所以其求和 $\sum y_i=1$

所以
$$\frac{\partial L}{\partial o_j}=S_j-y_j$$

其中 $S_j$ 表示预测为第 $j$ 类的概率值。

总结

使用 CE + Softmax ，在反向传播时，可以直接用 $S_j-y_j$ 作为反向传播的值 进行学习