机器学习4. 交叉熵损失函数与softmax回归的反向传播推导

在多分类问题中，一般选取softmax作为分类器，交叉熵作为损失函数。他们的形式都很简单，但是在BP的时候还是有些复杂，现在总结如下：

交叉熵损失函数

$$C(a,y)=-\sum _i{y}_{i}ln{a}_i\text{\hspace{1em}(1)}$$

softmax逻辑回归

第$i$个输出值$a_i$为：
$$a_i=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}\text{\hspace{1em}(2)}$$

结论

$$\frac{\partial C}{\partial z_i}=a_i-y_i\text{\hspace{1em}(3)}$$ 【预测值减真实值】

推导过程

$$\frac{\partial C}{\partial z_i}=\sum _j(\frac{\partial C_j}{\partial a_j}\frac{\partial a_j}{\partial z_i})\text{\hspace{1em}(4)}$$
【因为$z_i$总会出现在分母中，所以会对所有的$a_j$产生影响，每个$a_j$都会有一个损失值$C_j$(1式)】

• 先看第一项，由（1）式

  • $$\frac{\partial C_j}{\partial a_j}=-\frac{y_j}{a_j}\text{\hspace{1em}(5)}$$

• 对于第二项，我们对$i=j$和$i̸=j$分开讨论：

  • $i=j$，分子分母总都有$e^{z_i}$项，结果为：
    $$\frac{\partial a_i}{\partial z_i}=\frac{e^{z_i}\ast {\sum }_k{e}^{z_k}-e^{z_i}{e}^{z_i}}{({\sum }_k{e}^{z_k}{)}^2}\text{\hspace{1em}(6.1)}$$
    $$=e^{z_i}\frac{({\sum }_k{e}^{z_k}-e^{z_i})}{({\sum }_k{e}^{z_k}{)}^2}\text{\hspace{1em}(6.2)}$$
    $$=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}\frac{({\sum }_k{e}^{z_k}-e^{z_i})}{{\sum }_k{e}^{z_k}}=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}(1-\frac{e^{z_i}}{{\sum }_k{e}^{z_k}})=a_i(1-a_i)\text{\hspace{1em}(6.3)}$$

  • $i̸=j$， 只有分母有$e^{z_i}$项，结果为：
    $$\frac{\partial a_j}{\partial z_i}=-e^{z_j}(\frac{1}{{\sum }_k{e}^{z_k}}{)}^2{e}_i^z=-a_i{a}_j\text{\hspace{1em}(7)}$$
    【第一个等号是复合函数求导公式，第二个等号是把左右两个指数项放到中间的分子上，化简既得】

根据(4，5，6.3，7)式可得最终结果：
$$\frac{\partial C}{\partial z_i}=\sum _j(\frac{\partial C_j}{\partial a_j}\frac{\partial a_j}{\partial z_i})$$
$$=-[\frac{y_i}{a_i}{a}_i(1-a_i)+(\sum _{j̸=i}\frac{y_j}{a_j}-a_i{a}_j)]$$

$$=\sum _{j̸=i}{a}_i{y}_j-y_i(1-a_i)$$
$$=\sum _{j̸=i}{a}_i{y}_j+a_i{y}_i-y_i$$
$$=a_i\sum _j{y}_j-y_i$$
对于分类问题，我们的$y$只有某一维是1，其他都是0。因此求和后还是1，乘以系数$a_i$再减去后边那项就是结果
$$\frac{\partial C}{\partial z_i}=a_i-y_i\text{\hspace{1em}(5)}$$

这个推导还是有点麻烦的，主要就是分两部分$i=j$和$i̸=j$分别讨论，再结合一些小技巧（如最后一步ont-hot化简等…）