梯度爆炸分析

梯度下降法（SGD）是用来求解优化问题的一种方法：沿着梯度方向寻找损失最小值。所以梯度下降法的核心就是计算梯度，以得到参数更新值，而在深度神经网络中反向传播比较容易发生梯度消失或者梯度爆炸的问题。

---

梯度爆炸的原因整理：

1. 学习率的设置不合理，学习率太大，即梯度值过大会导致梯度爆炸；
2. 深度神经网络中的梯度不稳定，前面层是哪个的梯度来自于后面层上梯度的乘积，当存在过多层的网络时，便会出现内在本质上的不稳定，如梯度爆炸；
3. 因为sigmoid函数的导数最大值为1/4，所以当abs(w)>4时我们可以得到 的结果，经过多层累积梯度会迅速呈指数增长，在很窄的范围内出现梯度爆炸。

---

解决方案：

1. 数据归一化处理（减均值，除方差，或者加入normalization）；
2. 更换参数初始化的方法；
3. 减小学习率、减小batch size，或者是对每层设置不同的学习率，然后减小后面层的学习率
4. 斯坦福CS 224D的lecture note中提到加入“Gradient Clipping”每当梯度达到一定的阈值，就把他们设置回一个小一些的数字：
   
5. 调整深度神经网络的结构。