机器学习4. 交叉熵损失函数与softmax回归的反向传播推导

在多分类问题中，一般选取softmax作为分类器，交叉熵作为损失函数。他们的形式都很简单，但是在BP的时候还是有些复杂，现在总结如下：

交叉熵损失函数

$$C(a,y)=-\sum _i{y}_{i}ln{a}_i\text{\hspace{1em}(1)}$$

softmax逻辑回归

第$i$个输出值$a_i$为：
$$a_i=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}\text{\hspace{1em}(2)}$$

结论

$$\frac{\partial C}{\partial z_i}=a_i-y_i\text{\hspace{1em}(3)}$$ 【预测值减真实值】

推导过程

$$\frac{\partial C}{\partial z_i}=\sum _j(\frac{\partial C_j}{\partial a_j}\frac{\partial a_j}{\partial z_i})\text{\hspace{1em}(4)}$$
【因为$z_i$总会出现在分母中，所以会对所有的$a_j$产生影响，每个$a_j$都会有一个损失值$C_j$(1式)】

• 先看第一项，由（1）式