从梯度下降到反向传播

本文的思路如下：

偏微分 -> 梯度下降 -> 矩阵求导 -> 反向传播

1 梯度下降

1.1 偏微分

下图是一个 $z=\cos (x)+\sin (y)$ 的函数图像，假设有一个点$p_1(x_1,y_1)$，求在p1点处关于x的偏微分 $\frac{\partial z}{\partial x}{|}_{x=x_1}$ 的思路如下：

1. 取一个平行于$\vec{x}、\vec{z}$的平面a要求这个平面过p1，与函数相交于上图中的绿色曲线
2. 画出平面a的正视图，视角沿着上图中的视角箭头，得到下图（注意坐标值）。
   
3. 在上述图像中求解曲线在p1点处的导数，即我们要求的 $\frac{\partial z}{\partial x}{|}_{x=x_1}$

通过图投影图，在p1处的导数<0；在p2处的导数>0。从而：

• 沿着x增大的方向，下坡方向，那么导数<0；如果要到达谷底，需要 $x-\alpha \frac{\partial z}{\partial x}$
• 沿着x增大的方向，上坡方向，那么导数>0；如果要到达谷底，需要 $x-\alpha \frac{\partial z}{\partial x}$

即：无论在哪里，偏导数值相反方向，都是到达谷底的方向。
其中 $\alpha$ 应为一个小数，偏导数只是指明了谷底的方向，但是要是迈步过大，容易直接跨过谷底到达另一个山坡位置

1.2 梯度下降

总结偏微分的原理，得到梯度下降公式如下：

$${\theta }_i={\theta }_i-\alpha \frac{\partial J({\theta }_0,\cdots ,{\theta }_n)}{\partial {\theta }_i},fori=0ton$$

其中 $\alpha$ 控制步伐大小，不断重复上述更新，直到拟合，即到达下图的山谷位置，过程如下图所示：

即：梯度更新的算法核心在于求目标函数关于变量 $\theta$ 偏微分

2 反向传播

2.1 矩阵乘法求导

常见的矩阵乘法有两种，一种是数学上的乘法，另一种是对应位置相乘，例如：

1. 数学上的乘法，这里我们记为 $\cdot$ ，例如：

$$\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\cdot \left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right]=\left[\begin{array}{cc}{a}_{11}{b}_{11}+a_{12}{b}_{21}& a_{11}{b}_{12}+a_{12}{b}_{22}\\ a_{21}{b}_{11}+a_{22}{b}_{21}& a_{21}{b}_{12}+a_{22}{b}_{22}\end{array}\right]$$

2. numpy中的默认乘法，为对应位置相乘，这里我们记为 $\cdot \ast$ ，例如：

$$\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\cdot \ast \left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right]=\left[\begin{array}{cc}{a}_{11}{b}_{11}& a_{12}{b}_{12}\\ a_{21}{b}_{21}& a_{22}{b}_{22}\end{array}\right]$$

2.1.1 数学中的乘法（$.$）求导

假设有如下计算矩阵：

$$\left[\begin{array}{cc}{x}_{11}& x_{12}\\ x_{21}& x_{22}\\ x_{31}& x_{32}\end{array}\right]\cdot \left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]=\left[\begin{array}{ccc}{z}_{11}& z_{12}& z_{13}\\ z_{21}& z_{22}& z_{23}\\ z_{31}& z_{32}& z_{33}\end{array}\right]$$

且上述运算只是链式计算中的一环，即有 $J=f(Z)$ ，如果对z矩阵的每个元素求偏导，那么组合起来的矩阵一定是和z矩阵一样，即有：

$$\frac{\partial J}{\partial Z}=\Delta =\left[\begin{array}{ccc}{\delta }_{11}& {\delta }_{12}& {\delta }_{13}\\ {\delta }_{21}& {\delta }_{22}& {\delta }_{23}\\ {\delta }_{31}& {\delta }_{32}& {\delta }_{33}\end{array}\right]$$

在此基础上求解： $\frac{\partial J}{\partial X}$
由于：

$$\begin{gathered} x_{11}{a}_{11}+x_{12}{a}_{21}=z_{11} \\ {x}_{11}{a}_{12}+x_{12}{a}_{22}=z_{12} \\ {x}_{11}{a}_{13}+x_{12}{a}_{23}=z_{13} \\ \cdots \end{gathered}$$

所以：

$$\frac{\partial J}{\partial x_{11}}=\frac{\partial J}{\partial z_{11}}\cdot \frac{\partial z_{11}}{\partial x_{11}}+\frac{\partial J}{\partial z_{12}}\cdot \frac{\partial z_{12}}{\partial x_{11}}+\frac{\partial J}{\partial z_{13}}\cdot \frac{\partial z_{11}}{\partial x_{13}}={\delta }_{11}{a}_{11}+{\delta }_{12}{a}_{12}+{\delta }_{13}{a}_{13}$$

于是：

$$\frac{\partial J}{\partial X}=\left[\begin{array}{cc}{\delta }_{11}{a}_{11}+{\delta }_{12}{a}_{12}+{\delta }_{13}{a}_{13}& {\delta }_{11}{a}_{21}+{\delta }_{12}{a}_{22}+{\delta }_{13}{a}_{23}\\ {\delta }_{21}{a}_{11}+{\delta }_{22}{a}_{12}+{\delta }_{23}{a}_{13}& {\delta }_{21}{a}_{21}+{\delta }_{22}{a}_{22}+{\delta }_{23}{a}_{23}\\ {\delta }_{31}{a}_{11}+{\delta }_{32}{a}_{12}+{\delta }_{33}{a}_{13}& {\delta }_{21}{a}_{21}+{\delta }_{22}{a}_{22}+{\delta }_{23}{a}_{23}\end{array}\right]=\Delta \cdot a^T$$

也就是说：

$$\frac{\partial Z}{\partial X}=A^T$$

通过同样的推导方式可得到如下结论：
如果：

$$Z=K_{1}Y，Y=X{K}_2$$

那么 （要注意左乘和右乘的区别）：

$$\frac{\partial Z}{\partial X}=K_1^T\cdot numpy.oneslike(Z)\cdot K_2^T$$

这里为什么要乘以numpy.oneslike(Z)（numpy函数，shape和Z相同，但全为1），可以理解成上述 $\Delta$ 作用，目的是为了保证形状

上面是比较直观的矩阵展开推导过程，现在用矩阵乘法公式进行求导过程。条件和上面一致，所以 $X\cdot A=Z$ ，令 $x_{ij},a_{jk},z_{ik}$ 分别为对应的元素，则：

$$z_{ik}=\sum _j{x}_{ij}{a}_{jk}$$

因此：

$$\frac{\partial J}{\partial x_{ij}}=\sum _{ijk}\frac{\partial J}{z_{ik}}\cdot \frac{\partial z_{ik}}{\partial x_{ij}}=\sum _k{\delta }_{ik}\cdot \frac{\partial z_{ik}}{\partial x_{ij}}=\sum _k{\delta }_{ik}\cdot \sum _j{a}_{jk}=\sum _k{\delta }_{ik}\cdot a_{jk}$$

所以：

$$\frac{\partial J}{\partial X}=\Delta \cdot A^T$$

同理：

$$\frac{\partial J}{\partial a_{jk}}=\sum _i{\delta }_{ik}\cdot x_{ij}$$

所以：

$$\frac{\partial J}{\partial A}=X^T\cdot \Delta$$

从上面展开式发现：

$$\begin{gathered} \frac{dZ}{d{x}_{ij}}=\sum _j{a}_{jk} \\ \frac{dZ}{d{a}_{jk}}=\sum _i{x}_{ij} \end{gathered}$$

所以：

$$\begin{gathered} \frac{dZ}{dX}=numpy.oneslike(Z)\cdot A^T \\ \frac{dZ}{dA}=X^T\cdot numpy.oneslike(Z) \end{gathered}$$

这也就是矩阵链式求导使用numpy.oneslike的原因

2.1.2 numpy中的默认乘法，对应位置相乘 （$\cdot \ast$） 求导

假设有一个运算：

$$\left[\begin{array}{cc}{z}_{11}& z_{12}\\ z_{21}& z_{22}\end{array}\right]\cdot \ast \left[\begin{array}{cc}{\sigma }_{11}& {\sigma }_{12}\\ {\sigma }_{21}& {\sigma }_{22}\end{array}\right]=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$$

且上述运算只是链式计算中的一环，即有 $J=f(A)$ ，如果对 a 矩阵的每个元素求偏导，那么组合起来的矩阵一定是和z矩阵一样shape，即有：

$$\frac{\partial J}{\partial A}=\left[\begin{array}{cc}{\delta }_{11}& {\delta }_{12}\\ {\delta }_{21}& {\delta }_{22}\end{array}\right]$$

在此基础上求解：$\frac{\partial J}{\partial Z}$
由于：

$$\begin{gathered} z_{11}{\sigma }_{11}=a_{11} \\ {z}_{12}{\sigma }_{12}=a_{12} \\ \cdots \end{gathered}$$

所以：

$$\frac{\partial J}{\partial z_{11}}=\frac{\partial J}{\partial a_{11}}\cdot \frac{\partial a_{11}}{\partial z_{11}}={\delta }_{11}\cdot {\sigma }_{11}$$

于是：

$$\frac{\partial J}{\partial Z}=\left[\begin{array}{cc}{\delta }_{11}\cdot {\sigma }_{11}& {\delta }_{12}\cdot {\sigma }_{12}\\ {\delta }_{21}\cdot {\sigma }_{21}& {\delta }_{22}\cdot {\sigma }_{22}\end{array}\right]=\delta \cdot \ast \sigma$$

其中 表示 对应的矩阵，通过同样的推导方式可以得到：
如果：

$$Z=K_{1}Y,Y=X\cdot \ast K_2$$

那么：

$$\frac{\partial Z}{\partial X}=K_1^T\cdot numpy.oneslike(Z)\cdot \ast K_2$$

2.2 反向传播算法

反向传播算法本质是梯度更新，只不过它为了更方便计算机计算，先求出每一层的误差并缓存，然后再梯度更新

2.2.1 求每一层的误差 $\delta$

假设如下神经网络结构，包含2个hidden layer，3个输入feature，4个输出result，激活函数都是sigmoid，loss function使用cross entropy

分解后如下图所示：

其中各个参数意义如下：

• $a^{(i)}$：表示第 i 层激活值，其中 $a^{(1)}$为网络输入数据，$a^{(4)}$ 为网络输出值
• $z^{(i)}$ ：表示第 i-1 层（上一层）网络输出值
• ${\theta }^{(i)}$ ：表示第 i 层网络参数
• ${\delta }^{(i)}$ ：表示第 i 层网络的误差，我们定义误差为 ${\delta }^{(i)}=\frac{\partial J}{\partial z^{(i)}}$
• $g(z^{(i)})$ ：表示第 i 层的激活函数

由于采用cross entropy为损失函数，所以损失函数 J 有：

$$J=-[y\log a^{(4)}+(1-y)\log (1-a^{(4)})]=-[y\log g(z^{(4)})+(1-y)\log (1-g(z^{(4)}))]$$

又因为使用激活函数都是 $\sigma =\frac{1}{e^{-x}+1}$ ，所以 $g^{\prime }(z^{(i)})=a^{(i)}\cdot \ast (1-a^{(i)})$
上述神经网络涉及两种运算：

1. 点积（ $\cdot$ ）： $a^{(i-1)}\to z^{(i)}$
2. 点乘 （$\cdot \ast$） ： $z^{(i)}\to a^{(i)}$

因此：

$${\delta }^{(4)}=\frac{\partial J}{\partial z^{(4)}}=\frac{\partial J}{\partial a^{(4)}}\cdot \ast \frac{\partial a^{(4)}}{\partial z^{(4)}}=\frac{a^{(4)}-y}{a^{(4)}\cdot \ast (1-a^{(4)})}\cdot \ast g^{\prime }(z^{(4)})=a^{(4)}-y$$

根据链式求导：

$${\delta }^{(3)}=\frac{\partial J}{\partial z^{(3)}}=\frac{\partial J}{\partial z^{(4)}}\cdot \frac{\partial z^{(4)}}{\partial a^{(3)}}\cdot \ast \frac{\partial a^{(3)}}{\partial z^{(3)}}={\delta }^{(4)}\cdot \frac{\partial z^{(4)}}{\partial a^{(3)}}\cdot \ast g^{\prime }(z^{(3)})$$

根据2.1的矩阵求导法则，因为 $z^{(4)}={\theta }^{(3)}\cdot a^{(3)}$ ，所以：

$${\delta }^{(3)}=\frac{\partial J}{\partial z^{(3)}}=({\theta }^{(3)}{)}^T\cdot {\delta }^{(4)}\cdot \ast g^{\prime }(z^{(3)})$$

同理：

$${\delta }^{(2)}=({\theta }^{(2)}{)}^T\cdot {\delta }^{(3)}\cdot \ast g^{\prime }(z^{(2)})$$

所以：

$${\delta }^{(i)}=\frac{\partial J}{\partial z^{(i)}}=({\theta }^{(i)}{)}^T\cdot {\delta }^{(i+1)}\cdot \ast g^{\prime }(z^{(i)})$$

2.2.2 求每一层权重的偏导数 $\frac{\partial J}{\partial {\theta }^{(i)}}$

求解了每一层的误差，接下来需要求我们需要更新的权重的梯度：

$$\frac{\partial J}{\partial {\theta }^{(3)}}=\frac{\partial J}{\partial z^{(4)}}\cdot \frac{\partial z^{(4)}}{\partial {\theta }^{(3)}}={\delta }^{(4)}\cdot \frac{\partial z^{(4)}}{\partial {\theta }^{(3)}}$$

根据2.1矩阵求导公式，因为 ${\theta }^{(3)}\cdot a^{(3)}=z^{(4)}$ ，所以：

$$\frac{\partial J}{\partial {\theta }^{(3)}}={\delta }^{(4)}\cdot (a^{(3)}{)}^T$$

同理：

$$\begin{gathered} \frac{\partial J}{\partial {\theta }^{(2)}}={\delta }^{(3)}\cdot (a^{(2)}{)}^T \\ \frac{\partial J}{\partial {\theta }^{(1)}}={\delta }^{(2)}\cdot (a^{(1)}{)}^T \end{gathered}$$

所以：

$$\frac{\partial J}{\partial {\theta }^{(i)}}={\delta }^{(i+1)}\cdot (a^{(i)}{)}^T$$

从而就可以应用梯度更新公式了

2.2.3 反向传播算法总结

第 i 层的误差，与对应层使用的激活函数相关：

$${\delta }^{(i)}=\frac{\partial J}{\partial z^{(i)}}=({\theta }^{(i)}{)}^T\cdot {\delta }^{(i+1)}\cdot \ast g^{\prime }(z^{(i)})$$

最后一层误差，需要结合损失函数求导得到
第 i 层的梯度：

$$\frac{\partial J}{\partial {\theta }^{(i)}}={\delta }^{(i+1)}\cdot (a^{(i)}{)}^T$$

3 梯度爆炸和梯度消失

3.1 梯度爆炸消失对反向传播的影响

梯度消失和梯度爆炸问题，字面上理解就是 ${\theta }^{(i)}={\theta }^{(i)}-\alpha \frac{\partial J}{\partial {\theta }^{(i)}}$ 中的 $\frac{\partial J}{\partial {\theta }^{(i)}}$ 梯度项，接近0或者接近无穷。下面特例说明梯度消失梯度爆炸在反向传播中的表现。
因为：

$$\frac{\partial J}{\partial {\theta }^{(i)}}={\delta }^{(i+1)}\cdot (a^{(i)}{)}^T$$

假设网络采用线性激活，即不采用激活函数，即：

$${\delta }^{(i+1)}=\frac{\partial J}{\partial z^{(i+1)}}=({\theta }^{(i+1)}{)}^T\cdot {\delta }^{(i+2)}\cdot \ast g^{\prime }(z^{(i+1)})=({\theta }^{(i+1)}{)}^T\cdot {\delta }^{(i+2)}$$

令每一层为权重 ${\theta }^{(i)}=\left[\begin{array}{cc}k& \\ & k\end{array}\right]$ ，那么：

$${\delta }^{(i)}=\prod _{l=i}^{L-1}{\theta }^{(i)}\cdot {\delta }^{(L)}=\left[\begin{array}{cc}{k}^{L-1-i}& \\ & k^{L-1-i}\end{array}\right]\cdot {\delta }^{(L)}$$

其中 L 表示网络层数，当网络很深时， $L-1-i\to \infty$ ，且 $a^{(i)}$ 在计算梯度时，做常数处理，所以梯度的值和上一层的误差成正相关所以：

$$\begin{gathered} k<1\Rightarrow \delta \to 0\Rightarrow \frac{\partial J}{\partial \theta }\to 0 \\ k>1\Rightarrow \delta \to \infty \Rightarrow \frac{\partial J}{\partial \theta }\to \infty \end{gathered}$$

小结：当网络很深时，深层网络的梯度更新与输出层误差无关，即梯度不一定朝着梯度变小的方向更新。

3.2 梯度爆炸消失对前馈网络的影响

条件还是和上述一致，那么：

$$\hat{y}=\sigma (\prod _{l=1}^L{\theta }^{(l)}\cdot X)=\sigma (\left[\begin{array}{cc}{k}^L& \\ & k^L\end{array}\right]\cdot X)$$

当网络很深， $L\to \infty$ ，所以：

$$\begin{gathered} k<1\Rightarrow k^L\to 0\Rightarrow \hat{y}\to 0 \\ k>1\Rightarrow k^L\to \infty \Rightarrow \hat{y}\to 1 \end{gathered}$$

小结：当存在梯度爆炸或梯度消失时，网络的输出和网络的输入X不相关。

3.3 梯度爆炸、梯度消失原因总结

通过3.1、3.2的总结，我们发现如果权重矩阵设置不当，即：

1. 所有权重 $\Theta >I$ ，容易产生梯度爆炸问题
2. 所有权重 $\Theta <I$ ，容易产生梯度消失问题

所以权重初始化很重要，至于怎么初始化，我们后续再讲解