Group Normalization（GN）由Kaiming He和Yuxin Wu在2018年提出，旨在解决Batch Normalization（BN）在小batch size下性能下降的问题。BN依赖于batch size，而在目标检测、分割等任务中，batch size通常很小。GN通过将通道分组进行归一化，提供了一种与batch size无关的解决方案，从而在各种任务中保持稳定性能。
Group Normalization
Group Normalization 在18年由Kaiming He和 Yuxin Wu提出，其目的是为了解决BN存在的缺陷，在某些情况下用GN替代BN。
BN存在的问题
BN全名Batch Normalization，在15年提出后，广泛应用于深度学习领域，其作用主要在于提升训练速度和收敛速度。BN以batch为维度进行归一化。
BN存在的问题是它依赖于batch size的大小。通常需要的batch size大小是32。一个小的batch size会导致其性能下降。但是对于目标检测，分割，视频识别等任务，由于内存的限制，通常batch size的大小为1-2。具体性能差距详见下图：
另外，Batch Normalization是在batch这个维度上Normalization，但是这个维度并不是固定不变的，比如训练和测试时一般不一样，一般都是训练的时候在训练集上通过滑动平均预先计算好平均-mean，和方差-variance参数，在测试的时候，不在计算这些值，而是直接调用这些预计算好的来用，但是，当训练数据和测试数据分布有差别是时，训练机上预计算好的数据并不能代表测试数据，这就导致在训练&#
最低0.47元/天 解锁文章
扫一扫
1779
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
