softmax函数及交叉熵函数求导

softmax函数

这里以神经网络多分类问题为例，假设输出层有$n$个神经元，输出为$z_1,z_2,...,z_n$，经过softmax函数后的输出为$a_1,a_2,...,a_n$，$a_i$的计算公式为：
$$a_i=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$$

交叉熵损失函数

假设真实标签为$y_1,y_2,...,y_n$，由于是分类问题，因此$y_i$的取值为0或1，并且${\sum }_{i=1}^n{y}_i=1$。则交叉熵损失函数为：
$$L(\mathbf{a},\mathbf{y})=-\sum _i^n{y}_i\ln a_i$$

求导

下面详细介绍损失函数对$z_i$的导数求解过程。
根据链式求导可知，
$$\frac{\partial L}{\partial z_i}=\sum _j\frac{\partial L}{\partial a_j}\frac{\partial a_j}{\partial z_i}$$
之所以要先对每个$a_j$求导再求和是因为每个$a_j$的计算表达式中都含有$z_i$。另外，由于当$i$和$j$相等以及不等时求导结果不同，因此此式可以进一步写成：
$$\frac{\partial L}{\partial z_i}=\frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_i}+\sum _{i̸=j}\frac{\partial L}{\partial a_j}\frac{\partial a_j}{\partial z_i}$$
当$i=j$时：
$$\frac{\partial a_i}{\partial z_i}=\frac{{\sum }_k{e}^{z_k}{e}^{z_i}-(e^{z_i}{)}^2}{({\sum }_k{e}^{z_k}{)}^2}=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}-(\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}{)}^2=a_i(1-a_i)$$
当$i̸=j$时：
$$\frac{\partial a_j}{\partial z_i}=-\frac{e^{z_i}}{({\sum }_k{e}^{z_k}{)}^2}{e}^{z_j}=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}\frac{e^{z_j}}{{\sum }_k{e}^{z_k}}=-a_i{a}_j$$
因此
$$\begin{array}{rl}\frac{\partial L}{\partial z_i}& =\frac{\partial L}{\partial a_i}\frac{\partial a_i}{\partial z_i}+\sum _{i̸=j}\frac{\partial L}{\partial a_j}\frac{\partial a_j}{\partial z_i}\\ & =-\frac{y_i}{a_i}{a}_i(1-a_i)+\sum _{i̸=j}(-\frac{y_j}{a_j})(-a_i{a}_j)\\ & =a_i{y}_i-y_i+\sum _{i̸=j}{a}_i{y}_j\\ & =\sum _j{a}_i{y}_j-y_i\\ & =a_i\sum _j{y}_j-y_i\\ & =a_i-y_i\end{array}$$