BN+LN+GN

Normalization是为解决数据间独立同分布问题而提出的，独立指的是去除特征之间的关联性，同分布指的是使所有特征具有相同的均值和方差，Internal Covariate Shift 指的是源空间和目标空间条件概率一致，但边缘概率不一致。Normalization做简单的白化处理，即在数据送入神经元之前对其做平移和伸缩变化，

假设每个Batch的输入为N×C×H×W，其中N代表每个Batch中的样本数，C代表每个样本中的通道数，H代表样本的长，W代表样本的宽。将输入中的参数看做书本，即N代表有书本的数量，C代表书本的页数，H代表书本的长度或行数，W代表书本的宽度或列数。

BN指将每本书对应的页码相加并且求均值，得到了一个平均书，即除以N×H×W，使得每个Batch中的样本都归一化，即减去均值并除以方差，使其分布稳定在均值为0，方差为1。并引入两个参数做线性变化，保留原始输入特征的分布信息。

BN的缺点：对Batchsize大小敏感，若太小无法代表整个数据集的分布；BN适用于CNN，不适用预RNN。

LN指将同一本书所有页码对应的字相加并求均值，得到了一个平均字，即除以C×H×W，独立于Batchsize。同时也引入两个参数做线性变化，保留原始输入特征的分布信息。

LN可应用于RNN中，在每个时间片中做归一化。LN针对单个训练样本进行，不依赖于其他数据。

IN指在一个样本的一个通道内做归一化。

GN指将每本书分成好几个章节，每个章节包含许多页，然后对每个章节做LN。当G=1，GN=LN；当G=C，GN=IN；GN比LN更加灵活，比IN拥有更多通道信息。

补充：BN对不同样本的同一特征做归一化，而LN对同一样本的不同特征做归一化；BN比LN更优，因为不同数据同一特征得到的归一化特征更不易丢失。