BatchNormalization、LayerNormalization区别

BN将每个通道的所有数据进行归一化

LN将每个数据的所有通道进行归一化

将输入的图像shape记为[N, C, H, W]，区别就是在：

• batchNorm是在batch上，对NHW做归一化，对小batchsize效果不好；
• layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显；
• 

在上图中每个颜色表示一个训练样本，每个样本都有自己的长度。BN是按与y轴平行的方向计算统计量（即[N,T]）。由于BN中每个样本的长度都不一样，计算的 均值 和 方差 时就会非常不具有代表性，当t>3时，我们只能获得来自第二个样本的一个统计量，那么此时的均值和方差已经没有意义。

https://www.zhihu.com/question/308310065/answer/569167072

https://blog.csdn.net/liuxiao214/article/details/81037416