cs231n学习之路：3. softmax求导

本篇博客承接上文，主要介绍softmax的求导和为啥在线性分类器的self.loss函数中，求导部分是那样写的。

原理

softmax公式：
$$a_i=\frac{e^i}{\sum _j{e}^j}$$

交叉熵公式：
$$loss=-\sum _k{y}_k\times log(a_k)$$

现在有一个线性分类器：
$$z=x\times W+b$$
x是单样本的reshape之后的向量，这里的y则是one hot编码。
经过softmax：
$$a=softmax(z)$$
最后计算loss：
$$loss=-\sum _k{y}_k\ast log(a_k)$$

我们想计算W的导数，用梯度下降法更新w，根据链式法则：
$$\frac{\partial loss}{\partial w}=\frac{\partial loss}{\partial a}\times \frac{\partial a}{\partial z}\times \frac{\partial z}{\partial x}$$

现在假想我们要处理的情况是单样本，y是one hot编码的label。
$$\frac{\partial loss}{\partial z_i}=\sum _k\frac{\partial loss}{\partial a_k}\times \frac{\partial a_k}{\partial z_i}$$
k的范围是从1到类别数M，i是z的每一个单元输出，自然也是从1到M变化。
之所以对z的第i个单元的求导，会涉及到所有的a，是因为在softmax中，分母就是所有值的指数求和，因此$a$的所有值都对$a_i$有作用，自然，$z_i$的导数就应该包含loss对所有a的导数。
$$\frac{\partial loss}{\partial a_k}=-\frac{y_k}{a_k}$$
接下来就是求：
$$\frac{\partial a_k}{\partial z_i}$$
分两种情况，$i=k$或者$i̸=k$ （i不等于在markdown中怎么是这么显示的？）
当i=k:
$$\frac{\partial a_i}{\partial z_i}=\frac{\partial (\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}}{\partial z_i})$$
注意因为j里面是有i的，分子分母都有$z_i$。
$$\begin{gathered} \frac{\partial a_i}{\partial z_i}=\frac{\partial (\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}}{\partial z_i})=\frac{e^{z_i}({\sum }_j{e}^{z_j})-e^{z_i}{e}^{z_j}}{({\sum }_j{e}^{z_j}{)}^2}=\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}\times (1-\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}) \\ =a_i(1-a_i) \end{gathered}$$

当 i != k时，分子中就没有和$z_i$相关的项了。
$$\frac{\partial a_k}{\partial z_i}=\frac{\partial \frac{e^{z_k}}{{\sum }_j{e}^{z_j}}}{\partial z_i}=-\frac{e^{z_i}{e}^{z_k}}{({\sum }_j{e}^{z_j}{)}^2}=-a_i{a}_k$$

汇总之后：

$$\begin{gathered} \frac{\partial loss}{\partial z_i}=\sum _k\frac{\partial loss}{\partial a_k}\times \frac{\partial a_k}{\partial z_i}=\sum _{i=k}\frac{\partial loss}{\partial a_k}\frac{\partial a_k}{\partial z_i}+\sum _{i̸=k}\frac{\partial loss}{\partial a_k}\frac{\partial a_k}{\partial z_i} \\ =y_i(a_i-1)+a_i\sum _{i̸=k}{y}_k=a_i\sum _j{y}_j-y_k \end{gathered}$$

因为y是one hot 编码，所以${\sum }_j{y}_j=1$，则：
$$\frac{\partial loss}{\partial z_i}=a_i-y_i$$
这就是softmax的导数了。
原来就是概率值a 减去 在对应的类别的标签。即，如果$z_i$对应是正例，则loss对它的导数就是softmax之后的值减1。

！！！这个时候在回顾上一篇博客求导数的位置。

  # 求导
        # softmax的求导是经过softmax得到的矩阵，在每个正例位置减一
        # z = x*w +b
        # a = softmax(z)
        # loss = -y*log(a)
        grad_z = softmax_scores
        grad_z[np.arange(batch_size),y] -= 1
        grad_w = x.T.dot(grad_z)
        grad_w /= batch_size # 梯度求平均
        grad_w += reg*self.W

grad_z就是求loss对z的求导，它等于softmax_scores，即公式里面的a，然后在正例的位置减1.
w的导数按照链式法则，乘上去就行了。根据链式法则，代码这里：

grad_w = x.T.dot(grad_z)

按照正常顺序，应该写为

grad_z * x

只因为我们推到是考虑单样本的情况，如果是多样本的情况，grad_z实质上是$a^T$

$$a^T\times x=x^T\times a$$