梯度消失与梯度爆炸

今天学习到了梯度消失与梯度爆炸，特开此贴记录相关知识点。

一、梯度消失

        假设我们有四层神经网络，wi为权重，ai为神经元 。

        如果我们需要计算W1的梯度，就必须要按照链式法则从右往左求偏导。假设我们使用sigmoid函数作为激活函数，其导函数图像为：

        试想一下，根据链式求导法则，我们肯定是要将sigmoid的导数值与各权重值进行相乘，从而去求w1的梯度。就算每次取到sigmoid导函数的最大值1/4，始终是在使得w1的梯度往一个减小的方向进行下去的。比如例子中的四层神经网络，两次激活函数，每次都取最大值，都是1/16倍的x1*w2*w3，如果此时w2、w3、x1均是一个小于1的数，那么经过多次反向传播后，w1的梯度可能会越来越小。更别说sigmoid导数接近为0的时候了，此时梯度消失的速度只能更快。

        所以梯度消失可以理解为传入数据很大或者很小时，此时sigmoid函数值接近于0或1，梯度接近于0，就算反向传播时上一步传导过来的梯度很大，也会导致需要更新的权重和偏置值无法更新，甚至接近于0，直接导致这个神经元饱和。

        就算sigmoid函数值次次取最大值，但若此时权重和偏置值的初始值较小，权重和偏置值经过反向传播后更新只能变得越来越小，最后消失。

二、梯度消失的解决办法

        解决方法，使用Relu函数，就是将负数映射为0，正数取本身，这个函数的梯度要么为0，要么为1。当输入大于0时，梯度为1。好处就是：ReLU的梯度的连乘不会收敛到0，连乘的结果也只可以取两个值：0或1 。如果值为1，梯度保持值不变进行向后传播；如果值为0 ,梯度从该位置停止向后传播。

        当然，如果但输入的数据恒为负数时，则梯度也恒为0的时候，又会导致另外一个问题，神经元死亡。

        通常，激活函数的输入值为数据加上一个偏置值(bias)，若bias太小，以至于输入激活函数的值为负数，那么在反向传播的过程中梯度恒为0。则神经元无法学习，直接导致该神经元死亡。

        为了解决这一问题，提出了Leaky ReLU函数，即在小于0的时候，仍然有微小的梯度。

三、梯度爆炸

        梯度误差是在神经网络训练期间计算的方向和梯度，神经网络以正确的方向和数值更新网络权重。但由于梯度的计算是存在误差的，梯度误差可能在更新过程中累积，造成非常大的梯度。这反过来会导致网络权重的大量更新，进而导致网络不稳定。在极端情况下，权重值可能变得太大，以至于溢出并导致NaN值现成梯度爆炸现象。

        当然，权重值初始值过大，有可能会导致梯度爆炸现象。

四、梯度爆炸解决方法（部分与梯度消失通用）

        解决这一问题我们可以采用梯度优化算法动态调整学习率，缩小batch size，使用权重正则化方法L1或L2，使用LSTM，减小神经网络层数。还有就是batch normalization，就是将数据输入隐层前将数据进行BN，从而使得数据更加符合正态分布，使得数据对于神经网络而言更有价值。