超详细的softmax的反向传播梯度计算推导

正向传播

为了方便理解，若输入，输出只有3个变量（下面的普通性情况不太理解的可以带入此特殊情况帮助理解）。

• 输入：输出层神经元 Z = [$z_1$, $z_2$, $z_3$]，分类标签 Y = [$y_1,y_2,y_3$]（Y是one-hot标签，只有一个$y_i$值为1，其他全为0)
• 输出：A = softmax(Z) = [$a_1,a_2,a_3$]

更一般的，假设有n个神经元（或者说n类），softmax公式为：
$$a_i=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$$
损失函数采用交叉熵，公式为：
$$L=-\sum _{i=1}^n{y}_{i}ln{a}_i$$

求导

先说结论，按向量形式表示$\frac{\partial L}{\partial Z}=A-Y$

证明：在这里我们假设第k个神经元为正确标签，即在Y = [$y_1,y_2,y_3$]中$y_k$ = 1，其他$y_i$都为0。

首先求L对A的导数
$$\frac{\partial L}{\partial a_i}=\frac{\partial -{\sum }_{i=1}^n{y}_{i}ln{a}_i}{\partial a_i}=-\frac{y_i}{a_i}$$

再求L对Z的导数，这里需要注意，在正向传播时，每一个$a_i$的计算都有所有的$z_j$参加（请看softmax的公式的分母，是求和）
$$\frac{\partial L}{\partial z_i}=\sum _{j=1}^n\frac{\partial L}{a_j}\cdot \frac{\partial a_j}{\partial z_i}=\sum _{j=1}^n-a_{}$$