Batch Normalization 和 Group Normalization

Batch Normalization

可以理解为是一种数据预处理技术，使得每层网络的输入都服从（0，1）0均值，1方差分布，如果不进行BN，那么每次输入的数据分布不一致，网络训练精度自然也受影响。前向公式：

神经网络在训练的时候随着网络层数的加深,激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近,从而导致在反向传播时低层的神经网络的梯度消失。而BatchNormalization的作用是通过规范化的手段,将越来越偏的分布拉回到标准化的分布,使得激活函数的输入值落在激活函数对输入比较敏感的区域,从而使梯度变大,加快学习收敛速度,避免梯度消失的问题。

Batch normalization 的 batch 是批数据, 把数据分成小批小批进行 stochastic gradient descent. 而且在每批数据进行前向传递 forward propagation 的时候, 对每一层都进行 normalization 的处理。

Group Normalization

Group Normalization是何恺明大神的又一力作，是针对Batch Normalization（BN）在batch size较小时错误率较高而提出的改进算法，因为BN层的计算结果依赖当前batch的数据，当batch size较小时（比如2、4这样），该batch数据的均值和方差的代表性较差，因此对最后的结果影响也较大。

 具体解释可参考这篇文章：https://blog.csdn.net/u014380165/article/details/79810040?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165052370316780357297755%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165052370316780357297755&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-79810040.142^v9^pc_search_result_cache,157^v4^control&utm_term=group+normalization&spm=1018.2226.3001.4187https://blog.csdn.net/u014380165/article/details/79810040?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165052370316780357297755%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165052370316780357297755&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-79810040.142^v9^pc_search_result_cache,157^v4^control&utm_term=group+normalization&spm=1018.2226.3001.4187

总的来说，BN是在 batch这个维度上进行归一化，GN是计算channel方向每个group的均值方差。