Xavier 正态初始化

Xavier 正态初始化（Xavier Normal Initialization）是神经网络中权重初始化的一种方法，也称为 Glorot 初始化。这种方法通过设置合适的初始权重来控制信号在网络层间的流动，避免信号在前向传播和反向传播过程中过度增大或减小，从而有助于加快网络的训练速度并提高模型性能。

背景

在深度神经网络中，如果权重初始化不当，可能会导致以下问题：

1. 梯度消失（Vanishing Gradient）：当权重过小，信号在前向传播时逐层减小，导致后层的梯度趋近于零，影响网络训练。
2. 梯度爆炸（Exploding Gradient）：当权重过大，信号在前向传播时逐层放大，导致梯度在反向传播时爆炸，影响网络稳定性。

Xavier 正态初始化的原理

Xavier 正态初始化的主要思想是：为了使信号在每层神经元的输入和输出之间保持相同的方差，可以将权重初始化为一个服从特定正态分布的随机值。这种特定的正态分布由神经元的输入和输出数量决定。

公式

对于 Xavier 正态初始化，权重 W被初始化为服从以下正态分布：

其中：

• 表示均值为 0，方差为 的正态分布。
• 是当前层输入的神经元数量。
• 是当前层输出的神经元数量。

优点

1. 平衡信号流动：使得信号在每层的输入和输出之间保持相同的方差，避免梯度消失和梯度爆炸。
2. 加速收敛：通过良好的权重初始化，可以加速网络的收敛速度，减少训练时间。

在 PyTorch 中，可以使用 torch.nn.init.xavier_normal_ 函数来实现 Xavier 正态初始化。Xavier 正态初始化通过选择合适的初始权重分布，帮助维持信号在网络层间的方差稳定，从而缓解梯度消失和梯度爆炸的问题，提高深度神经网络的训练效率和性能。这种方法特别适用于使用 sigmoid 或 tanh 激活函数的网络。对于 ReLU 激活函数，可以使用一种变体称为 He 初始化。