BN的 作用

1、背景：

        卷积神经网络的出现，网络参数量大大减低，使得几十层的深层网络成为可能。然而，在残差网络出现之前，网络的加深使得网络训练变得非常不稳定，甚至出现网络长时间不更新或者不收敛的情形，同时网络对超参数比较敏感，超参数的微量扰动也会导致网络的训练轨迹完全改变。

        场景描述：

为了消除数据特征之间的 纲影响 我们需要对特征进行归一化处理 使得不同指标之间具有可比性 例如，分析 个人的身高和体重对健康的影响 如果使用米（ m) 相干克（ kg ）作为单位 那么身高特征会在 1.6 l.8m 的数值范围内 体重特征会在 50 lOOkg 的范围内 分析出来的结果显然会倾向于数值差别比较大的体重特征 想要 得到更为准确的结果，就需要进行特征归 化（ Norma li zation ）处理，使各指标处于同 一数值 级，以便进行分析

2、提出

        2015 年，Google 研究人员Sergey Ioffe等提出了一种参数标准化(Normalize)的手段，并基于参数标准化设计了 Batch Nomalization(简称 BatchNorm或 BN)层 。BN层提出后：

        1）使得网络的超参数的设定更加自由，比如更大的学习率，更随意的网络初始化等，同时网络的收敛速度更快，性能也更好。

        2）广泛地应用在各种深度网络模型上，卷积层、BN 层，ReLU 层、池化层一度成为网络模型的标配单元，通过堆叠 Conv-BN-ReLU-Pooling 方式往往可以获得不错的模型性能。

3、原理

        网络层的输入x分布相近，并且分布在较小范围内时(如 0 附近)，更有利于函数的迭代优化。那么如何保证输入x的分布相近呢？

        数据标准化可以实现此目的，通过数据标准化操作可以将数据x映射x ^ 

 

 很容易很看出来：上面的公式表示的是正太分布。也就是说，通过上面的公式计算，可以将原本随机分布的输入数据x，转化成按正态分布分布的数据x ^  ，从而使得输入网络的数据分布较近，有利于网络的迭代优化。

4、计算

5、Scale and Shift