梯度消失与梯度爆炸原理&初始化方法

基础概念

在详细了解神经网络中梯度消失与梯度爆炸的原理之前，先来回顾一下如下基本公式：
$$\begin{array}{rl}& \mathbf{E}(\mathbf{X}\ast \mathbf{Y})=\mathbf{E}(\mathbf{X})\ast \mathbf{E}(\mathbf{Y})\\ & \mathrm{D}(\mathbf{X})=\mathbf{E}\left({\mathrm{X}}^2\right)-[\mathbf{E}(\mathbf{X}){]}^2\\ & \mathbf{D}(\mathbf{X}+\mathbf{Y})=\mathbf{D}(\mathbf{X})+\mathbf{D}(\mathbf{Y})\end{array}$$
其中随机变量X与Y相互独立，根据上面三个公式可推导得出下式关系
$$\mathrm{D}(\mathrm{X}\ast \mathrm{Y})=\mathrm{D}(\mathrm{X})\ast \mathrm{D}(\mathrm{Y})+\mathrm{D}(\mathrm{X})\ast [\mathbf{E}(\mathbf{Y}){]}^2+\mathrm{D}(\mathrm{Y})\ast [\mathbf{E}(\mathbf{X}){]}^2$$
至此，基础知识准备完毕。

神经网络中的梯度消失与爆炸

面对如下结构的神经网络：

先来计算梯度，令$H_1$表示第一个隐藏层，$H_2$表示第二个隐藏层，W代表权重矩阵，那么第二层隐藏层到输出层之间的权重矩阵$W_2$的梯度为：
$$\begin{array}{rl}\Delta {\mathrm{W}}_2& =\frac{\partial L\text{ oss }}{\partial {\mathrm{W}}_2}=\partial o\\ & \end{array}$$