深度学习中的常用的归一化方法汇总

深度学习中的归一化

一. 归一化解决什么问题?

在训练的时候，输入分布的变化要求较低的学习率和较为严谨的参数初始化，使得训练模型困难。此外，各层输入分布的变化带来了一个问题，因为各层需要不断地适应新的分布,把这个问题称为内部协变量偏移(internal covariate shift)。

二. 归一化的种类

深度学习中有以下四种常用的归一化方法:

• Batch Normalization
• Layer Normalization
• Instance Normalization
• Group Normalization

1. Batch Normalization

Batch Normalization就是将每个batch之间一一对应的每个channel相加,求均值,和方差之后做归一化处理.最后再加入缩放和平移变量. 均值计算,就是在一个mini-batch 里面,将每个channel中的值累加起来,再除以$N\times H\times W$, 最后这个值是个1维度的数值,即有多少个channel,其维度就为:(1, channel, 1, 1).

例子：该批次内有10张图片，每张图片有三个通道RBG，每张图片的高、宽是H、W，那么均值就是计算10张图片R通道的像素数值总和除以 $N\times H\times W$，再计算B通道全部像素值总和除以$N\times H\times W$，最后计算G通道的像素值总和除以$N\times H\times W$。方差的计算类似。

训练网络时候具体算法公式如下:

有两个需要学习的变量$\gamma ,\beta$,分别是缩放和平移.这两个参数的维度等于张量的channel维度.

而在推理的时候,上面的均值计算和方差计算则有所差异.

在训练状态下，$\gamma ,\beta$是可训练参数，在推理状态下，直接加载训练好的数值。而均值和方差在推理的时候是基于所有批次的期望计算所得. 具体源码可以参考[3]的讲解.

2. Layer Normalization

Layer Normalization是在一个样本里面,对每个channel进行求均值和方差. 不同于BN, LN不依赖于batch size, 因此不需要批训练，在单条数据内部就能归一化. 和BN计算的方法类似, 如下所示:

$$\mu (x)=\frac{1}{CHW}\sum _{i=1}^{CHW}{x}_i$$

$$\sigma (x)=\sqrt{\frac{1}{CHW}\sum _{i=1}^{CHW}(x_i-\mu {)}^2}$$

例子：对于feature map$x\in {\mathbb{R}}^{N\times C\times H\times W}$，有C个通道，长、高是W、H，LN对每个样本的$C,H,W$维度上计算均值和标准差. 那么均值就是计算在该样本里面所有通道内, 像素数值总和除以 $C\times H\times W$。方差的计算类似。

3. Instance Normalization

Instance Normalization是针对于图像像素做归一化,最初用于图像的风格迁移任务中.在图像风格化中，生成结果主要依赖于某个图像实例，feature map 的各个 channel 的均值和方差会影响到最终生成图像的风格。所以对整个batch归一化不适合图像风格化中，因而对H、W做归一化。可以加速模型收敛，并且保持每个图像实例之间的独立。

$$\mu (x)=\frac{1}{HW}\sum _{i=1}^{HW}{x}_i$$

$$\sigma (x)=\sqrt{\frac{1}{HW}\sum _{i=1}^{HW}(x_i-\mu {)}^2}$$

例子：对于feature map$x\in {\mathbb{R}}^{N\times C\times H\times W}$，有C个通道，长、高是W、H。IN对每个样本上的每个通道计算均值和标准差. 那么均值就是计算样本里每个通道内的像素数值总和除以 $H\times W$。方差的计算类似。

4. Group Normalization

Group Normalization是为了解决BN对较小的mini-batch size效果差的问题。GN适用于占用显存比较大的任务，例如图像分割。对这类任务，可能 batch size 只能是个位数，再大显存就不够用了。而当 batch size比较小的时候，BN 的表现很差，因为没办法通过几个样本的数据量，来近似总体的均值和标准差。

GN的主要思想就是在channel方向group, 然后每个group内做归一化.计算$(C/G)\times H\times W$的均值和方差, 与batch size无关.

$$\mu (x)=\frac{1}{(C/G)HW}\sum _{C=gC/G}^{C/G}{x}_i$$

$$\sigma (x)=\sqrt{\frac{1}{(C/G)HW}\sum _{C=gC/G}^{C/G}(x_i-\mu {)}^2}$$

例子：对于feature map$x\in {\mathbb{R}}^{N\times C\times H\times W}$，有C个通道，长、高是W、H。GN对每个样本上的$(C/G)$个通道计算均值和标准差. 那么均值就是计算样本里$(C/G)$个通道内的像素数值总和除以 $(C/G)\times H\times W$。方差的计算类似。

如果我们将组的数量设置为G = 1，则GN变为LN 。LN假设层中的所有通道都做出“类似的贡献”。GN比LN受限制更少，因为假设每组通道（而不是所有通道）都受共享均值和方差的影响; 该模型仍然具有为每个群体学习不同分布的灵活性。这导致GN相对于LN的代表能力提高。如果我们将组的数量设置为G = C（即每组一个通道），则GN变为IN。 但是IN只能依靠空间维度来计算均值和方差，并且错过了利用信道依赖的机会。

三. 总结

• BN, IN, GN,其$\gamma$和$\beta$都是维度等于通道数$C$的矩阵.而对于LN, 其$\gamma$和$\beta$都是维度等于normalizaed_shape的向量.

• BN, IN可以设置参数 momentum和track_running_stats来获得在整体数据上更准确的均值和标准差. LN和GN只能计算当前batch内数据的真实均值和标准差.

• BN是在batch上，对N、H、W做归一化，而保留通道 C 的维度。BN对较小的batch size效果不好。BN适用于固定深度的前向神经网络，如CNN，不适用于RNN。

• LN在通道方向上，对C、H、W归一化，主要对RNN效果明显。

• IN在图像像素上，对H、W做归一化，用在风格化迁移。

• GN将channel分组，然后再做归一化。

Reference:

1. https://www.cnblogs.com/jiangkejie/p/14291407.html
2. https://blog.csdn.net/bestrivern/article/details/102871014
3. https://zhuanlan.zhihu.com/p/93643523
4. https://zhuanlan.zhihu.com/p/337732517