Xavier参数初始化方法

目录

1 梯度消失与梯度爆炸

2 Xavier方法​​​​​​​

1 梯度消失与梯度爆炸

这是一个深度学习领域遇到的老问题了，即使是现在，任何一个新提出的模型，无论是MLP、CNN、还是RNN，随着深度的加深，这两个问题变得尤为严重。

• 梯度消失是指在深度学习训练的过程中，梯度随着链式求导逐层传递逐层减小，最后趋近于0，导致对某些层的训练失效；
• 梯度爆炸与梯度消失相反，梯度随着链式求导逐层传递逐层增大，最后趋于无穷，导致某些层无法收敛；

2 Xavier方法

接下来的推导基于假设:

• 激活函数在0周围的导数接近1(比如tanh);
• 偏置项b初始化为0，期望为0
• 参数初始化期望均为0

Xavier的目的：

• 在前向传播的时候满足 ，即对于每一个结点，它的输出的方差都相同；
• 用梯度反向传播的时候，，，和前向传播时一样希望结点输出的方差都相同；
• 前后传播的方差都相同

        对于神经网络中的layer i，假设它的输入是，激活函数为 f ，满足，经过激活函数后的输出为。

         假设在初始化之后，处于激活函数的线性区域，即 ，即。

        因为 ，若 都是0，那么。

（1）前向传播

        在 W , Z , b 独立同分布，且 为0的假设下，

        所以。

         这里是 layer i 的第k个node的输出，为 layer i−1的第j个node的输出， 为 layer i−1与  layer i第k个node的连接权重。

        我们希望的是在前向传播的时候满足 ，即对于每一个结点，它的输出的方差都相同，所以需要满足，所以 可以从方差为的正态分布从采样得到。

 （2）后向传播

        当我们用梯度反向传播的时候， ，和前向传播时一样希望结点输出的方差都相同，只是这时候需要从方差为的正态分布中采样得到。

 （3）均相同

        所以按照上述思路，我们无法保证前后传播的方差都相同，所以选择 从方差为的正态分布中采样得到，或者从，的均匀分布中得到（均匀分布的方差为，边界可以按此公式推导得到）

        但是之前有假设激活函数在0周围的导数接近1，所以忽略了激活函数的作用，不同激活函数在0周围的导数不同，需要给方差乘上导数的倒数：

神经网络初始化方法-Xavier/kaiming_转行的炼丹师的博客-CSDN博客

Xavier神经网络参数初始化方法 - 知乎