如何反向求梯度？？？

计算图

用计算图来表示任何函数，其中图的节点表示我们要执行的每一步计算。如上图的线性分类器中，输入是$x$和$W$，$\ast$表示矩阵乘法，即$W\ast x$，输出得分向量。另一个节点表示 hinge loss，计算数据损失项$L_i$，还有一个正则项，在右下角。在最后的总的损失$L$，是正则项和数据项的和。
画出计算图后，可以用链式求导法则得到每个节点的梯度。

(x+y)z的链式求导公式

令$f_{(x,y,z)}=(x+y)z$，$q_{(x,y)}=x+y$，则
$$\frac{\partial f}{\partial x}=\frac{\partial f}{\partial q}\times \frac{\partial q}{\partial x}=z\times 1=z$$
$$\frac{\partial f}{\partial y}=\frac{\partial f}{\partial q}\times \frac{\partial q}{\partial y}=z\times 1=z$$
$$\frac{\partial f}{\partial z}=q=x+y$$

反向求梯度的例子

正向传播计算图如图所示，反向传播过程为：
开始第一个梯度为1。
令$f_{(x)}=\frac{1}{x}$，则求导得$f_{(x)}^{{}^{\prime }}=-\frac{1}{x^2}$，将$x=1.37$代入得$f_{(x)}^{{}^{\prime }}=-0.53$，故其梯度为$-0.53\times 1=-0.53$。
令$f_{(x)}=x+1$，则求导得$f_{(x)}^{{}^{\prime }}=1$，故其梯度为$1\times -0.53=-0.53$。
令$f_{(x)}=e^x$，则求导得$f_{(x)}^{{}^{\prime }}=e^x$，将$x=-1$代入得$f_{(x)}^{{}^{\prime }}=0.37$，故其梯度为$0.37\times -0.53=-0.2$。
以此类推，得到所有梯度为：
上图中画框的地方其实是$sigmoid$函数，可以不用一步一步地从开始求解到0.20处，直接用$sigmoid$求导得到梯度。

sigmoid求导

$${\sigma }_{(x)}=\frac{1}{1+e^{-x}}$$
$$\frac{d{\sigma }_{(x)}}{dx}=\frac{e^{-x}}{(1+e^{-x}{)}^2}=(\frac{1+e^{-x}-1}{1+e^{-x}})(\frac{1}{1+e^{-x}})=(1-{\sigma }_{(x)}){\sigma }_{(x)}$$

向量的反向传播

如上图所示，对$f_{(q_i)}$求导，得到$\frac{\partial f}{\partial q_i}=2q_i$，即反向求导后得到梯度
$$\left[\begin{array}{c}0.44\\ 0.52\end{array}\right]$$
用$q_1$(即$W_{1,1}{x}_1+W_{1,2}{x}_2$)对$W_{1,1}$求导，得$\frac{\partial q_1}{\partial W_{1,1}}=x_1=0.2$
用$q_1$对$W_{1,2}$求导，得$\frac{\partial q_1}{\partial W_{1,2}}=x_2=0.4$
用$q_1$对$W_{2,1}$求导，得$\frac{\partial q_1}{\partial W_{2,1}}=0$
用$q_1$对$W_{2,2}$求导，得$\frac{\partial q_1}{\partial W_{2,2}}=0$
同理，$\frac{\partial q_2}{\partial W_{1,1}}=0$，$\frac{\partial q_2}{\partial W_{1,2}}=0$，$\frac{\partial q_2}{\partial W_{2,1}}=x_1=0.2$，$\frac{\partial q_2}{\partial W_{2,2}}=x_2=0.4$。
即：
$$\frac{\partial q_k}{\partial W_{i,j}}=1_{k=i}{x}_j$$
其中$1_{k=i}$指：如果$k=i$，则$1_{k=i}=1$，否则等于$0$。
故：
$$\frac{\partial f}{\partial W_{i,j}}=\sum _k\frac{\partial f}{\partial q_k}\frac{\partial q_k}{\partial W_{i,j}}=\sum _k(2q_k)(1_{k=i}{x}_j)=2q_i{x}_j$$
故：
$$\frac{\partial f}{\partial W_{1,1}}=2q_1{x}_1=0.088$$
$$\frac{\partial f}{\partial W_{1,2}}=2q_1{x}_2=0.176$$
$$\frac{\partial f}{\partial W_{2,1}}=2q_2{x}_1=0.104$$
$$\frac{\partial f}{\partial W_{2,2}}=2q_2{x}_2=0.208$$
最终得到：
$$\frac{\partial f}{\partial W}=\left[\begin{array}{cc}0.088& 0.176\\ 0.104& 0.208\end{array}\right]$$
继续用$q_1$对$x_1$求导，得
$$\frac{\partial q_1}{\partial x_1}=W_{1,1}=0.1$$
同理得
$$\frac{\partial q_1}{\partial x_2}=W_{1,2}=0.5$$
$$\frac{\partial q_2}{\partial x_1}=W_{2,1}=-0.3$$
$$\frac{\partial q_2}{\partial x_2}=W_{2,2}=0.8$$
即：
$$\frac{\partial q_k}{\partial x_i}=W_{k,i}$$
$$\frac{\partial f}{\partial x_i}=\sum _k\frac{\partial f}{\partial q_k}\frac{\partial q_k}{\partial x_i}=\sum _{k}2q_k{W}_{k,i}$$
故：
$$\frac{\partial f}{\partial x_1}=2q_1{W}_{1,1}+2q_2{W}_{2,1}=-0.112$$
$$\frac{\partial f}{\partial x_2}=2q_1{W}_{1,2}+2q_2{W}_{2,2}=0.636$$
故：
$$\frac{\partial f}{\partial x}=\left[\begin{array}{c}-0.112\\ 0.636\end{array}\right]$$
最终：