梯度消失，梯度爆炸＿原因分析＿简单例子助理解

梯度消失，梯度爆炸＿原因分析＿简单例子助理解

    梯度消失，梯度爆炸的根源其实是来在反向传播BP(back propagation).

    反向传播的思想: 每层的输出是由两层间的权重决定的，两层之间产生的误差，按权重缩放后在网络中向前传播, 这就是反向传播。
    从反向传播中得到一般化公式：
$${\delta }^{n-1}={\omega }_{n-1}{\delta }^n\ast f_{n-1}^{\prime }$$

$$\Delta w_{n-2}=\eta {\delta }^{n-1}{x}_{n-1}$$

   其中${\delta }^n$为第$n$层的误差项，${\delta }^{n-1}$为第$n-1$层的误差项，${\omega }_{n-2}$为第$n-2$层到第$n－1$层的权重，$f_{n-1}^{\prime }$为第$n-1$层输出的导数，也就是激活函数的导数，$x_{n-1}$为第$n-1$层的输入，$\eta$为学习率，$\Delta w_{n-2}$就是第$n-2$层到第$n-1$层权重更新步长了．

    对于$n$层神经网络，根据反向传播的公式，到第$n-i$层的权重$w_{n-i-1}$更新规则为：

$${\delta }^{n-i}=({\omega }_{n-i}\cdot \cdot \cdot ({\omega }_{n-2}({\omega }_{n-1}({\omega }_n{\delta }^n\ast f_{n-1}^{\prime })\ast f_{n-2}^{\prime })\ast f_{n-3}^{\prime })\cdot \cdot \cdot \ast f_{n-i}^{\prime })$$

$$\Delta w_{n-i-1}=\eta {\delta }^{n-i}{x}_{n-i}$$

   上述就是权重$w_{n-i}$更新规则，对于激活函数的倒数$f_{n-1}^{\prime }$，$f_{n-2}^{\prime }$，$f_{n-3}^{\prime }$，．．，$f_{n-i}^{\prime }$，如果此部分大于1，那么层数增多的时候，最终的求出的权重$w_{n-i}$更新将以指数形式增加，即发生梯度爆炸，如果此部分小于1，那么随着层数增多，求出的权重$w_{n-i-1}$的更新步长$\Delta w_{n-i-1}$将会以指数形式衰减，即发生了梯度消失。

简单例子

   用下面最简单的单线神经网络来说明，更见直观的理解梯度消失，梯度爆炸．

   说明：$f$表示激活函数，$f_i$就表示第$i$层的输出，${\delta }^i$表示输出的误差项．
   那么根据上图，可以得到第二层的误差项${\delta }^2$为：

$${\delta }^2=w_2{w}_3{w}_4{\delta }^5{f}_4^{\prime }{f}_3^{\prime }{f}_2^{\prime }$$

   第二层的权重更新步长为：

$$\Delta w_2=\eta {\delta }^2{x}_2$$

   从上面的例子我们可以直观的看出有连乘$f_4^{\prime }{f}_3^{\prime }{f}_2^{\prime }$,　当神经网络的层数进一步增加的时候，连乘会进一步加长．所以当$f_n^{\prime }<1$的时候，随着累乘的增加（远离输出端），误差项$\delta$会逐渐趋近0，这就是梯度消失．当$f_n^{\prime }>1$的时候，随着累乘的增加（远离输出端），误差项$\delta$会逐渐趋近无穷，这就是梯度爆炸．