深度学习归一化方法总结(BN、LN、IN、GN)

目录

一、批量归一化 （BatchNorm）

二、层归一化（Layer Normalization）

三、Instance Normalization

四、Group Normalization

---

一般在神经网络中会用到数据的归一化，比如在卷积层后进行归一化然后再下采样然后再激活等。目前比较受欢迎的数据归一化层有：BN(Batch Normalization)，LN(Layer Normalization)，IN(Instance Normalization)，GN(Group Normalization)这4种。本篇文章主要是对比一下它们各自是怎么计算的。
先看对数据的归一化是这么操作的。其实就是先计算均值和方差然后再标准化即可。具体的对一个标量数据，在给定的数据集中进行标准化是按如下进行计算的：
先计算给定数据集的均值和方差：

然后对这个数据集中的每个数进行标准化(归一化)：

BN、LN、IN、GN这4种归一化方法的区别就是用于计算均值和方差的数据集不同。后面我以卷积层后跟归一化来举例，我叫需要进行标准化的值为一个像素点，那么数据集叫像素集。我们来看一下这4种方法它们计算均值和方差的像素集有什么区别。(蓝色区域即为该方法对应的计算一次均值和方差的像素集，当然最终是要将整个方块按区域划分分别进行一次归一化)。