cs231n assignment1 Q4 softmax梯度推导

本文推导了斯坦福课程cs231n（2017）assignment1 Q4的反向传播梯度

网络结构为
输入–全连接层–ReLU–全连接层–softmax
$X-H=XW_1+b_1-R=\max(\textbf{0},H)-F=RW_2+b_2-\text{softmax}$
其中,$X$为输入，每一行表示一个样本，$W_1，W_2$分别为第一和第二连接层的权重，$b_1，b_2$分别为第一和第二连接层的偏置。$F$为第二连接层的输出（score）。
首先定义损失函数,对于每个训练样本，损失函数定义如下

$$L_i = -\log\Biggl(\frac{\mathrm{e}^{F_{i,y_i}}}{\sum_j\mathrm{e}^{F_{i,j}}}\Biggr).$$
总的损失函数为所有样本损失函数的均值加上正则项

$$L=\frac{1}{N}\sum_iL_i+\lambda\Biggl(\sum_k\sum_lW^2_{1_{kl}}+\sum_k\sum_lW^2_{2_{kl}}\Biggr).$$
记

pi,k=eFi,k