深度学习笔记——梯度消失和梯度爆炸及解决方法

梯度消失：

反向传播时随着网络加深梯度逐渐消失，最后导致参数不更新。
原因： 如果使用sigmoid作为激活函数，反向传播时输出对某一层参数的梯度是后面层的参数和后面层的激活函数的导数相乘（而sigmoid函数的梯度是sigmoid(1-sigmoid)),又因为sigmoid函数在（0，1）之间，所以随着网络加深，梯度越来越小接近于零，实际上sigmoid函数的梯度小于0.25。
解决方法：换用激活函数（每层的梯度是激活函数的倒数乘以权重，所以对梯度有影响的是损失函数加权重）；BN（BN将每层的输入拉回到激活函数的非线性敏感区，加大梯度）

梯度爆炸：

（损失函数为nan）梯度大于一，反向传播时随着网络层数加深，梯度越来越大接近无穷大。
原因： 由上可知反向传播梯度的因子有后面每一层的参数相乘，所以如果参数过大，大过激活函数倒数的影响，随着网络加深，梯度会越来越大发生梯度爆炸。
解决方法： 降低学习率；用xavier进行权重初始化；模型裁剪（限制每层的梯度大小）