关于CNN、RNN中的梯度爆炸/梯度弥散

梯度爆炸(gradient explosion) 与 梯度弥散(gradient vanishing) 是神经网络研究中常可能遇到的问题，主要体现在训练不收敛，误差、权重波动大，以及出现NaN值，本文以CNN与RNN为例，说明梯度爆炸/弥散的产生原因

CNN

CNN神经网络的简易图如下：
用$f$表示卷积函数，忽略pooling层，则每一层的运算可以表示为$x_n=f(W_n{x}_{n-1}+b_n)$

也即$x_n=f(W_n{x}_{n-1}+b_n)=f(W_{n}f(W_{n-1}{x}_{n-2}+b_{n-1})+b_n)=f(W_{n}f(W_{n-1}f(W_{n-2}{x}_{n-3}+b_{n-2})+b_{n-1})+b_n)\cdot \cdot \cdot$

因此，若最后的误差为E，则其对第一层权重的导数为$\frac{\partial E}{\partial W_1}=\frac{\partial E}{\partial f_n}\times \frac{\partial f_n}{\partial \alpha }\times W_n\times \frac{\partial f_{n-1}}{\partial \alpha }\times W_{n-1}\cdot \cdot \cdot \times \frac{\partial f_1}{\partial \alpha }\times \frac{\partial \alpha }{\partial W_1}$

其中α为激活函数，则以sigmoid函数为例，其导数的取值范围为(0, 0.25],即上面的每一项$\frac{\partial f_n}{\partial \alpha }$都小于1，则当网络足够深，会导致越接近输入层的神经元，梯度几乎为0，长时间得不到更新

若为tanh，则范围在(0,2)，当每一项大于1时就会出现梯度爆炸，权重更新不稳定

RNN

在CNN中，所谓权值共享仅发生在单个的一层，不同层对应的Wi是不同的，而在RNN中，则是每个时间步都共用一个权重，因此梯度是累加的（RNN中为什么要采用tanh而不是ReLu作为激活函数）：

$\frac{\partial f_n}{\partial W_1}=\frac{\partial f_n}{\partial {\alpha }_n}\times f_{n-1}+\frac{\partial f_n}{\partial {\alpha }_n}\times W\times \frac{\partial f_{n-1}}{\partial {\alpha }_{n-1}}\times f_{n-1}+\cdot \cdot \cdot +{\prod }_{i=0}^n\frac{\partial f_i}{\partial {\alpha }_i}\times \frac{\partial f{a}_1}{\partial W}\times W^n$

因此这里越往前回溯，则将有越多的W连乘，若采用ReLU，系数为1，无法弥补W连乘带来的梯度问题

于是经常采取tanh函数

对于梯度问题，经常采用的方法包括但不限于：

• 在CNN中采用恒等映射，RNN中采用LSTM
• 梯度截断，设置一个梯度阈值，超过时进行阶段（该阈值的设定需要一定经验）
• 对权重进行正则化，如L1（权重的绝对值和）正则化与L2（权重的绝对值平方和再开方）正则化
• 模型重构