批量归一化-Datawhale X 李宏毅苹果书 AI夏令营

1. 批量归一化的基本概念

• 背景：深度学习中，梯度消失和梯度爆炸问题会影响模型训练的稳定性。为了解决这一问题，引入了批量归一化技术。
• 定义：批量归一化是指在每个小批次中计算每层输出的均值和方差，并对输出进行标准化处理，从而减小梯度消失或爆炸的可能性。

2. 批量归一化的原理与过程

• 基本过程：

  1. 对每个输入单元计算均值和方差。
  2. 使用计算得到的均值和方差对输入进行标准化处理。
  3. 引入可学习的缩放和平移参数，以恢复模型的表达能力。

3. 批量归一化的优点

• 加速收敛：批量归一化通过稳定网络中的梯度，使得训练过程更加平滑，从而加速模型的收敛。
• 降低对初始参数的敏感性：在批量归一化的帮助下，模型对初始参数的选择不再那么敏感，减少了调参的难度。
• 一定程度的正则化效果：由于每个小批次的数据分布不同，批量归一化具有一定的正则化效果，有助于防止过拟合。

4. 应用场景与挑战

• 训练阶段：在训练时，使用小批次数据的均值和方差进行归一化，这有助于模型学习到更鲁棒的特征。
• 测试阶段：测试时不能依赖于小批次数据的统计量，因此使用训练时的移动平均统计量来归一化输入数据。
• 批量大小的选择：批量归一化的效果依赖于批次大小，小批量可能导致归一化统计量不稳定，因此推荐较大的批次大小。

5. 内部协变量偏移的解决

• 内部协变量偏移：批量归一化通过减小每层输入的分布变化，降低了内部协变量偏移的影响，确保了模型训练的稳定性。

6. 实验验证

• 实验结果：研究表明，批量归一化显著提高了深度网络的训练速度和准确性，尤其是在深度网络和大数据集上表现优异。