深度学习－网络Xavier初始化方法

参考：
深度学习－网络Xavier初始化方法
通过方差分析详解最流行的Xavier权重初始化方法

在 Xavier Glorot 和 Yoshua Bengio 2010 年的论文 Understanding the difficulty of training deep feedforward neural networks 中考虑了全连接网络的权重初始化问题，为从均匀分布中采样初始化权重提供了理论性分析。该分析的直观性解释可以分为两部分，首先对于前向传播，我们需要确保所有层的激活值方差近似相等，因此每一个训练样本传播经过网络的信息才能保持平滑的属性。同样对于反向传播，每层梯度保持近似的方差将允许信息平滑地反向流动以更新权重。近似方差的梯度同样确保误差数据能反馈到所有层级，因此它是整个训练过程中的关键。