softmax函数的反向传播求导

吴恩达老师在深度学习视频中讲解$\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}$函数时，直接给出了损失函数对$z^{[L]}$的导数，这里推导一下计算过程。

假设输出层有$n$个神经元，使用$\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}$函数后神经网络的输出为
$${\hat{y}}_j=\frac{\exp (z_j^{[L]})}{{\sum }_{i=1}^n\exp (z_i^{[L]})}j=1,2,...,n$$
使用交叉熵损失函数，定义为
$$L(\hat{y},y)=-\sum _{i=1}^n{y}_i\log (\widehat{y_i})$$
从$\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}$函数的定义不难看出，对于每一个$z_j^{[L]}$，它对$\hat{y}$的每个元素都有贡献。那么在进行反向传播时，$\hat{y}$的每个元素都要计算对$z_j^{[L]}$的导数，再分别乘以损失函数对$\hat{y}$每个元素的导数，然后求和。也即
$$\frac{\partial L}{\partial z_j^{[L]}}=\sum _{i=1}^n\frac{\partial L}{\partial \widehat{y_i}}\frac{\partial \widehat{y_i}}{\partial z_j^{[L]}}$$
对于等式右侧的前一部分，显然
$$\frac{\partial L}{\partial \widehat{y_i}}=-\frac{y_i}{\widehat{y_i}}$$
对于后一部分，需要分为两种情况讨论

• 当$i=j$时：
  $$\begin{array}{rl}\frac{\partial \widehat{y_j}}{\partial z_j^{[L]}}& =\frac{\exp z_j^{[L]}({\sum }_{i=1}^n\exp (z_i^{[L]}))-(\exp z_j^{[L]}{)}^2}{({\sum }_{i=1}^n\exp (z_i^{[L]}){)}^2}\\ & =\widehat{y_j}(1-\widehat{y_j})\end{array}$$

• 当$i\ne j$时：
  $$\begin{array}{rl}\frac{\partial \widehat{y_i}}{\partial z_j^{[L]}}& =\frac{0-\exp z_i^{[L]}\exp z_j^{[L]}}{({\sum }_{i=1}^n\exp (z_i^{[L]}){)}^2}\\ & =-\widehat{y_i}\widehat{y_j}\end{array}$$

那么
$$\begin{array}{rl}\frac{\partial L}{\partial z_j^{[L]}}& =\widehat{y_j}(1-\widehat{y_j})(-\frac{y_j}{\widehat{y_j}})+\sum _{i\ne j}-\widehat{y_i}\widehat{y_j}(-\frac{y_i}{\widehat{y_i}})\\ & =-y_j(1-\widehat{y_j})+\sum _{i\ne j}{y}_i\widehat{y_j}\\ & =-y_j+y_j\widehat{y_j}+\sum _{i\ne j}{y}_i\widehat{y_j}\\ & =\widehat{y_j}-y_j\end{array}$$
于是对于整个$z^{[L]}$显然有
$$d{z}^{[L]}=\hat{y}-y$$
在多个样本时显然有
$$d{Z}^{[L]}=\frac{1}{m}(\hat{Y}-Y)$$
这里的$\frac{1}{m}$来自来自损失函数。