gradient clipping

问题起与这篇知乎：训练到一定epoch之后，突然loss为Nan，其中一种方法说 梯度截断。我觉得我LSTM可能会出现这个问题。

https://www.zhihu.com/question/49346370

---

梯度消失（vanishing gradient）与梯度爆炸（exploding gradient）

（1）梯度不稳定问题：

什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。

原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。

（2）梯度消失（vanishing gradient problem）：

原因：例如三个隐层、单神经元网络：

则可以得到：

然而，sigmoid方程的导数曲线为：

可以看到，sigmoid导数的最大值为1/4，通常abs（w）<1,则：

前面的层比后面的层梯度变化更小，故变化更慢，从而引起了梯度消失问题。

（3）梯度爆炸（exploding gradient problem）：

当权值过大，前面层比后面层梯度变化更快，会引起梯度爆炸问题。

（4）sigmoid时&#