神经网络梯度消失或爆炸

神经网络梯度的消失在于多层的求偏导后，值越来越小，导致梯度非常接近于0. 

造成这个现象的主要原因在于激活函数：

从上图我们可以看到常用激活函数Sigmoid, Tanh, 以及Relu 的倒数的取值范围都在 0~1 之间，所以在多层神经网络以后这个梯度会出现消失现象：

比如说 每一层的梯度都是0.8， 在经过 50层以后 0.8**50 = 0.0000143. 所以整个模型的学习进程会非常慢。但是通常来说 Relu激活函数在梯度消失问题上明显小于Sigmoid函数。

同理如果激活函数的梯度都比1大 那么这个结果将会变得非常大，这个梯度将会出现爆炸现象。

为了解决梯度爆炸问题，最常用的思路是使用梯度裁剪 （Gradient Clipping）

先设定一个梯度可以接受的最大值（阈值），如果超过这个最大值（阈值），我们通过等比缩放这个梯度值来解决。