Batch Normalization 批量归一化 【全方位解释】

前言

批量归一化（Batch Normalization），由Google于2015年提出，是近年来深度学习（DL）领域最重要的进步之一。该方法依靠两次连续的线性变换，希望转化后的数值满足一定的特性（分布），不仅可以加快了模型的收敛速度，也一定程度缓解了特征分布较散的问题，使深度神经网络（DNN）训练更快、更稳定。

1.目的

随着网络的深度增加，每层特征值分布会逐渐的向激活函数的输出区间的上下两端（激活函数饱和区间）靠近，长此以往则会导致梯度消失，从而无法继续训练model。BN就是通过方法将该层特征值分布重新拉回标准正态分布，特征值将落在激活函数对于输入较为敏感的区间，输入的小变化可导致损失函数较大的变化，使得梯度变大，避免梯度消失，同时也可加快收敛。

2.原理

• 输入：批处理（mini-batch）输入 x : B = { x 1 , ⋯   , m } x:B=\{x_{1},\cdots,m\} x:B={x1​,⋯,m}
• 输出：规范化后的网络响应 { y i = B N γ , β ( x i ) } \{y_{i} = BN_{\gamma,\beta}(x_{i})\} {yi​=BNγ,β​(xi​)}
• 过程：
  1. 计算批处理数据均值（mini-batch mean）
  2. 计算批处理数据方差(mini-batch variance)
  3. 规范化(normalize)： 获得$N\sim (0，1)$正态分布。其中 $\epsilon$ 是为了避免除数为0时所使用的微小正数。
  4. 尺度变换和转移(scale and shift)： 将 $x_i$ 乘以 $\gamma$ 调整数值大小，再加上 $\beta$ 增加偏移后得到 $y_i$ ，这里的 $\gamma$ 是尺度因子，β是平移因子。这一步是BN的精髓，由于归一化后的 $x_i$ 基本会被限制在正态分布下，使得网络的表达能力下降。为解决该问题，我们引入两个新的参数：$\gamma$和 $\beta$ 。$\gamma$和 $\beta$ 是在训练时网络自己学习得到的。
     换句话说正态分布式的数据归一化变成了下面的形式来进行数据归一化
  5. return 学习的参数

3.本质

我们的激活函数本质上想要放大差别，而随着网络深度的增加，就好像我们小时候玩的听筒传话游戏，每个人将听到的信息轮流传下去，信息便会在传递的过程中变得离谱起来。如下图：

ps：图上b为 $batch=3$

• 如果数据在梯度很小的区域，那么学习率就会很慢甚至陷入长时间的停滞。减均值除方差后，数据就被移到中心区域如上图所示，对于大多数激活函数而言，这个区域的梯度都是最大的或者是有梯度的（比如ReLU），这可以看做是一种对抗梯度消失的有效手段。对于一层如此，如果对于每一层数据都那么做的话，数据的分布总是在随着变化敏感的区域，相当于不用考虑数据分布变化了，这样训练起来更有效率。[2]
• 训练的本质就是要根据loss去调整模型的参数，从而使得模型找到一个特定的function去拟合我们的数据。而BN的把数据从梯度较小的区域移到了梯度较大区域，如此一来，backforward时的loss梯度大，模型收敛速度就快了，这也就是sigmoid激活函数被ReLU激活函数普遍替代的原因。

4.效果[3]

在大多数情况下，批量标准化可以提高深度学习模型的性能。但是我们想知道黑匣子里到底发生了什么。问题是，我们还不完全知道是什么让 Batch Normalization 的效果这么好。结果是明确的：BN 层使训练更快，并允许更广泛的学习率，而不会影响训练收敛。[1]

BN对Hidden Layer的影响

即：有BN的模型比没有BN的激活曲线更平滑。

我们可以从曲线中得出结论：

• 添加 BN 层会导致更快更好的收敛（更好意味着更高的准确性）。
  在如此大的数据集(ImageNet)上，改进比在小型 MNIST 数据集上观察到的要显着得多。
• 添加 BN 层允许我们在不影响收敛性的情况下使用更高的学习率 (Learning Rate)，也即更快收敛。
• 作者已经使用比原始网络高 30 倍的学习率成功地训练了他们的 Inception-with-BN 网络。请注意，5 倍大的 LR 已经使 vanilla 网络发散了！
• 这样，就更容易找到一个“可接受的”学习率：LR 介于欠拟合和梯度爆炸之间的区间要大得多。
• 此外，更高的学习率有助于optimizer（优化器）避免local-minimum（局部最小值）收敛。鼓励探索，那么optimizer也就将更容易收敛到更好的模型参数和解决方案。

5.BN有效的原因

假设1：

• BN ➜隐藏单元内输入信号的归一化➜ 添加两个可训练参数来调整分布并充分利用非线性 ➜ 更容易训练

假设2：

• BN ➜ 隐藏单元内输入信号的归一化 ➜减少隐藏层之间的相互依赖性（从分布稳定性的角度来看） ➜ 更容易的训练
  

有一个细微但非常重要的区别。在这里，归一化的目的是减少层之间的相互依赖（从分布​​稳定性的角度来看），因此优化器可以通过仅调整两个参数来选择最佳分布！

添加 BN 层显着降低了训练期间各层之间的相互依赖性（从分布稳定性的角度来看）。Batch Normalization就像一个阻止流动的阀门。也就是说BN层通过对每个隐藏单元内的信号进行归一化，并允许使用 $\beta$ 和 $\gamma$ 进行分布调整。此时，BN就像是一个阀门，从某种程度上来说，可以更方便地控制流量，而不会降低网络的底层复杂性。[4]

假设3：BN ➜ 隐藏单元内输入信号的归一化 ➜ 使优化环境更平滑➜ 更快、更稳定的训练。

6.BN的副作用

• BN 依靠均值和方差来归一化隐藏层。那么，输出值与当前batch数据也就紧密相关。并且这种转换会增加一些噪音，具体取决于当前batch中使用的输入。
  添加一些噪音以避免过度拟合……听起来像是一个正则化过程，不是吗？😉
• 在实践中，我们不应该依赖Batch Normalization来避免over-fitting，因为正交性很重要。简而言之，我们应该始终确保一个模块解决一个问题。如果依靠几个模块来处理不同的问题，便会使得开发过程困难许多。

参考文献

[1] 《Batch normalization in 3 levels of understanding》
[2] 《批归一化(Batch Normalization)详解》
[3]Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift, arXiv preprint arXiv:1502.03167.
[4]Santurkar, S., Tsipras, D., Ilyas, A., & Madry, A. (2018). How does batch normalization help optimization?, Advances in Neural Information Processing Systems