​超细节的BatchNorm/BN/LayerNorm/LN知识点

©PaperWeekly 原创 · 作者 | 海晨威

研究方向 | 自然语言处理

Norm，也即 Normalization，已经是深度神经网络模型中非常常规的操作了，但它背后的实现，原理和作用等，其实我们可以理解的更细致，本文会以最常用的 BatchNorm 和 LayerNorm 为例（其他 Norm 方法大同小异），通过 Q&A 的形式，去深入理解关于 Norm 的细节知识点。

1. BN 在训练和测试时的差异

2. BN 中的移动平均 Moving Average 是怎么做的？

3. 移动平均中 Momentum 参数的影响

4. Norm 中的标准化、平移和缩放的作用

5. 不同 Norm 方法中都有哪些参数要保存？

6. BN 和 LN 有哪些差异？

7. 为什么 BERT 使用 LN，而不使用 BN？

8. 如何去理解在哪一个维度做 Norm？

BN在训练和测试时的差异

对于 BN，在训练时，是对每一个 batch 的训练数据进行归一化，也即用每一批数据的均值和方差。

而在测试时，比如进行一个样本的预测，就并没有 batch 的概念，因此，这个时候用的均值和方差是在训练过程中通过滑动平均得到的均值和方差，这个会和模型权重一起，在训练完成后一并保存下来。

对于 BN，是对每一批数据进行归一化到一个相同的分布，而每一批数据的均值和方差会有一定的差别，而不是用固定的值，这个差别实际上也能够增加模型的鲁棒性，并会在一定程度上减少过拟合。

但是一批数据和全量数据的均值和方差相差太多，又无法较好地代表训练集的分布，因此，BN 一般要求将训练集完全打乱，并用一个较大的 batch 值，去缩小与全量数据的差别。

BN中的移动平均Moving Average是怎么做的？

训练过程中的每一个 batch 都会进行移动平均的计算 [1] ：

moving_mean = moving_mean * momentum + batch_mean * (1 - momentum)
moving_var = moving_var * momentum + batch_var * (1 - momentum)

式中的 momentum 为动量参数，在 TF/Keras 中，该值为 0.99，在 Pytorch 中，这个值为 0.9 初始值，moving_mean=0，moving_var=1，相当于标准正态分布。

在实