什么是Batch Normalization？

一、概念

        Batch Normalization是在2015年提出的数据归一化方法，主要用在深度神经网络中激活层之前。它的主要作用是加快模型训练时的收敛速度，使模型训练过程更加稳定，避免梯度爆炸或消失，并起到一定的正则化作用，有时甚至可以替代Dropout。

        BN可以应用于全连接层和卷积层，在非线性映射（激活函数）之前对数据进行规范化，使得结果的输出信号的各个维度均值为0，方差为1。这有助于网络的训练，特别是在梯度消失或爆炸的情况下

二、原理

        BN的核心思想是让每一层的输入保持一个稳定的分布，这样模型在训练时可以减少对输入分布变化的依赖，从而加速收敛并提升稳定性。具体来说，BN包含以下几个步骤：

1、计算小批量数据的均值和方差

         在每一层的输入特征图上，BN会在当前batch的数据上计算其均值和方差。

2、数据归一化

        BN对每一个样本的输出进行归一化处理，通过减去均值后再除以标准差，使得归一化后的输出数据具有零均值和单位方差的标准正态分布。

3、缩放和平移

        直接归一化会限制模型的学习能力，因为归一化后的输出被严格限制在均值为0和方差为1的分布中。为了恢复模型的表达能力，BN引入了两个可学习的参数：缩放参数γ和偏移参数β，将归一化后的数据进行线性变换：