前提
之前看过这四个的区别,但是分的还是不太清楚,今天仔细地整理一下。
解析
在解析这个问题时,我们经常看到下面的这张图,这张图出自Kaiming he的**Group Normalization**:
先做一个解释,N
代表batch
,C
代表Channel
,w,h
代表weight,height
。
我先给大家解释一下这张图这四个参数对应的方向:
搞清楚后,然后再来看。
BatchNorm
就是把batch_1、batch_2,....,batch_6
中的同一个Channel
看成一组做归一化(也就是说将这6个batch
的同一个Channel
的数据拿出来计算出一个均值和一个方差),计算完毕后会有C
个均值,C
个方差。
LayerNorm
就是在同一个batch,例如说batch_1
中的所有Channel
看成一组做归一化(也就是说将这一个batch
内所有Channel
的数据拿出来计算一个均值和一个方差),计算完毕后会有N
个均值,N
个方差。
InstanceNorm
就是在同一个batch,例如说batch_1
中的一个Channel
看成一组做归一化(也就是说将这一个batch
内的一个Channel
的数据拿出来计算一个均值和一个方差),执行完毕后会有C*N
个均值,C*N
个方差。
GroupNorm
就是在同一个batch,例如说batch-1
中的某几个Channel
看成一组做归一化。
在NLP领域,可以将这个解释带入进去,如下图:
batch
不变,还是代表了batch_size
,解释一下句子长度和字向量长度。
在NLP领域中,一个句子由多个单词构成,一个单词由一个词向量表示。例如:我 真 的 喜 欢 你。是一个句子,长度为6,同时我们假设每一个词(例如我)由一个1*6
的向量表示,那么这个句子便可由一个6*6
的矩阵表示。
具体来说:
- BatchNorm:把
batch_1、batch_2,....,batch_6
中的同一个位置的词看成一组做归一化。 - LayerNorm:在同一个batch,例如说
batch_1
中的所有词看成一组做归一化(也就是在每一个句子中进行归一化) - InstanceNorm:在同一个batch,例如说
batch_1
中的一个词看成一组做归一化(也就是一个句子中的一个词看成一组做归一化) - GroupNorm:在同一个batch,例如说
batch-1
中的某几个词看成一组做归一化(也就是一个句子中的某几个词看成一组做归一化)
参考链接
- https://zhuanlan.zhihu.com/p/643560888
- https://zhuanlan.zhihu.com/p/540695633
- https://www.cnblogs.com/lxp-never/p/11566064.html#blogTitle0