Xavier初始化

目录

1.使用目的

2.预期效果

3.具体实现方法

1.使用目的

        使用Xavier初始化的主要是为了在网络的前向传播和反向传播过程中，保持每一层输出的方差尽量相等，尽量避免梯度消失或梯度爆炸的问题。

2.预期效果

        根据每一层的输入和输出维度动态地调整参数的初始范围，使得每个神经元的输入和输出的方差大致相等。在均匀分布的情况下，参数的取值范围为 [-a, a]，其中 a 是一个与输入和输出维度相关的缩放因子。

        如此操作，可以防止每一层的梯度传播不会过于剧烈或轻微，从而避免梯度消失或梯度爆炸。

3.具体实现方法

首先，输入输出的方差不应该受到层数和输入输出通道数的影响。

 输入与其权重的积的和即是Oi，如上式所示，该式属于未进行初始化之前的输入状态。

计算期望，并让它等于0，这一步大部分时候都是采样一部分区域，调节平均值让它等于0。

计算方差，并让它尽可能稳定。 

基本原理如此，pytorch中的实现十分简单，只需要调用一个函数。

nn.init.xavier_uniform_(p)#p为parameters