Group Norm，Batch Norm，Layer Norm

Group Norm（GN）、Batch Norm（BN）和Layer Norm（LN）都是常用的归一化方法，可以在深度学习中提升模型的训练效果。

区别与联系：

BN是针对一个batch的数据进行归一化，LN是对每个样本的所有特征进行归一化，GN则是将channel分成若干组，对每组的数据进行归一化。
BN和LN适用于小批量的数据，因为它们在进行归一化时会用到小批量数据的均值和方差，但是GN对于较小的batch size也能表现良好，因为它在每个组内计算均值和方差。
BN和GN的归一化是在每个通道上进行的，而LN是在每个样本上进行的。

优缺点：

BN能够加速收敛，但是在测试时需要保存训练集的均值和方差，因此会增加额外的内存和计算负担。
GN相比BN更加鲁棒，对于小batch size的情况下表现更好，而且不需要额外的计算负担。
LN在RNN和序列模型中表现较好，但是在图像领域的任务中表现较差。

适用场景：

BN适用于较大的batch size，例如大于等于32的情况。
GN适用于小batch size和训练数据不规则的情况。
LN适用于RNN和序列模型。