目录
1.使用目的
使用Xavier初始化的主要是为了在网络的前向传播和反向传播过程中,保持每一层输出的方差尽量相等,尽量避免梯度消失或梯度爆炸的问题。
2.预期效果
根据每一层的输入和输出维度动态地调整参数的初始范围,使得每个神经元的输入和输出的方差大致相等。在均匀分布的情况下,参数的取值范围为 [-a, a],其中 a 是一个与输入和输出维度相关的缩放因子。
如此操作,可以防止每一层的梯度传播不会过于剧烈或轻微,从而避免梯度消失或梯度爆炸。
3.具体实现方法
首先,输入输出的方差不应该受到层数和输入输出通道数的影响。
输入与其权重的积的和即是Oi,如上式所示,该式属于未进行初始化之前的输入状态。
计算期望,并让它等于0,这一步大部分时候都是采样一部分区域,调节平均值让它等于0。
计算方差,并让它尽可能稳定。
基本原理如此,pytorch中的实现十分简单,只需要调用一个函数。
nn.init.xavier_uniform_(p)#p为parameters