BatchNorm、LayerNorm、InstanceNorm、GroupNorm解析

前提

之前看过这四个的区别，但是分的还是不太清楚，今天仔细地整理一下。

解析

在解析这个问题时，我们经常看到下面的这张图，这张图出自Kaiming he的**Group Normalization**:

先做一个解释，N代表batch，C代表Channel，w,h代表weight,height。
我先给大家解释一下这张图这四个参数对应的方向：

搞清楚后，然后再来看。
BatchNorm就是把batch_1、batch_2，....，batch_6中的同一个Channel看成一组做归一化(也就是说将这6个batch的同一个Channel的数据拿出来计算出一个均值和一个方差)，计算完毕后会有C个均值，C个方差。

LayerNorm就是在同一个batch，例如说batch_1中的所有Channel看成一组做归一化（也就是说将这一个batch内所有Channel的数据拿出来计算一个均值和一个方差），计算完毕后会有N个均值，N个方差。

InstanceNorm就是在同一个batch，例如说batch_1中的一个Channel看成一组做归一化（也就是说将这一个batch内的一个Channel的数据拿出来计算一个均值和一个方差），执行完毕后会有C*N个均值，C*N个方差。

GroupNorm就是在同一个batch，例如说batch-1中的某几个Channel看成一组做归一化。

在NLP领域，可以将这个解释带入进去，如下图：

batch不变，还是代表了batch_size，解释一下句子长度和字向量长度。
在NLP领域中，一个句子由多个单词构成，一个单词由一个词向量表示。例如：我 真 的 喜 欢 你。是一个句子，长度为6，同时我们假设每一个词（例如我）由一个1*6的向量表示，那么这个句子便可由一个6*6的矩阵表示。
具体来说：

• BatchNorm：把batch_1、batch_2，....，batch_6中的同一个位置的词看成一组做归一化。
• LayerNorm：在同一个batch，例如说batch_1中的所有词看成一组做归一化（也就是在每一个句子中进行归一化）
• InstanceNorm：在同一个batch，例如说batch_1中的一个词看成一组做归一化（也就是一个句子中的一个词看成一组做归一化）
• GroupNorm：在同一个batch，例如说batch-1中的某几个词看成一组做归一化（也就是一个句子中的某几个词看成一组做归一化）

参考链接

1. https://zhuanlan.zhihu.com/p/643560888
2. https://zhuanlan.zhihu.com/p/540695633
3. https://www.cnblogs.com/lxp-never/p/11566064.html#blogTitle0