深度学习-梯度爆炸

1 产生的原因

sigmoid 的导数取值范围(0,0,25）,即一面的每一项,都小于1，则当网络足够深，会导致越接近输入层的神经元，梯度几乎为0，长时间得不到更新。

若为tanh，则范围为(0,2) ,当每一项大于1时就会出现梯度爆炸，权重更新不稳定。

RNN:

在CNN 中，所谓权重仅发生在单个的一层，不同层对应的wi 是不同的，而在RNN 中，则每个时间步都共用一个权重，因此梯度是累加的。(RNN 中为什么要采用tanh 而不是Relu 作为激活函数)

越往前回溯，则将有更多的w 连乘，若采用Relu，系数为1，无法弥补w 连乘带来的梯度问题，于是经常采用tanh 函数。

对于梯度问题，经常采用的方法包括但不限于:

(1) 在CNN 中采用恒等映射,RNN 中采用LSTM，

(2) 梯度阶段，设置一个梯度阈值，超过时进行阶段(该阈值的设定需要一定经验）

(3) 对权重进行正则化，如L1 (权重的绝对值和）正则化与L2正则化

(4) 模型重构

https://blog.csdn.net/u013700358/article/details/95023468