深度学习（6）：神经网络中的梯度消失、梯度爆炸、梯度的数值逼近、梯度检验

梯度消失、梯度爆炸

产生原因：随着神经网络的层数逐渐加深，参数的累乘导致参数对梯度的影响呈指数级别上升。我们的参数w若是过大，则会导致累乘后的梯度值非常大，参数更新反复横跳无法收敛。而如果参数w过小，则会导致梯度计算值过小使得参数更新缓慢不得收敛。

解决方法：
课上学习了通过合理的参数初始化缓解问题。
直观上来看，Z^[l]=W^[l]A^[l-1]，上一层的神经元个数n^[l-1]越大，我们应该让W^[l]值越小使得Z没有那么大。所以在每层的W采用np.random.randn的N（0，1）高斯分布外，应当乘上相应的系数。对于tanh激活函数，我们往往每层W乘上sqrt（1/n^[l-1]）。而对于relu激活函数，我们往往每层W乘上sqrt（2/n^[l-1]）。分子的常数也可以作为一个超参数调整，但一般影响不大。

梯度的数值逼近

如果我们用 (f(x+△)-f(x))/△的方式估计f‘(x)的话，所得误差为O(△)
证明：
由泰勒公式
f(x+△)=f(x)+f’(x)△+O(△²)
f(x+△)-f(x)=f’(x)△+O(△²)
(f(x+△)-f(x))/△=f’(x)+O(△)

如果我们用 (f(x+△)-f(x-△))/(2△)的方式估计f‘(x)的话，所得误差为O(△²)
证明：
由泰勒公式
f(x+△)=f(x)+f’(x)△+1/2 *f’’(x)△²+O(△³)
f(x-△)=f(x)-f’(x)△+1/2 *f’’(x)△²+O(△³)
两式相减
f(x+△)-f(x-△)=2f’(x)△+O(△³)
(f(x+△)-f(x-△))/(2△)=f’(x)+O(△²)

所以我们往往用 (f(x+△)-f(x-△))/(2△)对梯度进行数值逼近

梯度检验

我们仅仅在debug的时候进行梯度检验，以判断我们的梯度计算是否正确。在训练过程中没必要进行梯度检验。