Softmax输出层损失函数及偏导数

softmax输出层（m个输入，n个输出）：
$Z = WX+B$
（其中W为系数矩阵（$n\times m$），B为n维偏置量，X为m维输入向量，Z为n维向量）
$y_j = \frac{e^{z_j}}{\sum_{j=1}^{m}e^{z_j}}$
$j \in [1,n]$
如果使用最小平方和loss函数：
$E = \sum_{j=1}^{n} \frac{1}{2}(y_j-Y_{j})^2$
偏导数为：
$\frac{\partial y_i}{\partial z_i}=y_i(1\{i=j\}-y_j)$
$\frac{\partial E}{\partial z_i} = \sum_{j=1}^{n} \sigma y_j\cdot\frac{\partial y_i}{\partial z_i} = \sum_{j=1}^{n} \sigma y_j\cdot y_i\cdot(1\{ i=j\} -y_j)$

如果使用softmax交叉熵loss函数：
$E = - \sum_{j=1}^{n} Y_{j}logy_j$
求偏导数：
$\frac{\partial E}{\partial z_i} =\sum_{j=1}^{n}\frac{\partial E}{\partial y_j}\frac{\partial y_j}{\partial z_i} =\sigma y_j= y_i-Y_i$