circle的专栏

原创 【CVPR2018】Group Normalization

作者摘要BN是一个深度学习发展的里程碑，给多种网络训练赋能。但当batch变小，由于不准确的batch统计估计，BN的错误率会快速增加。这限制了BN在大模型的应用。本文提出Group Normalization（GN），作为BN的一个简单替换。GN将通道数分成多个组，在每个组计算均值和方差来归一化，计算独立于batch size，且在batchsize的大变化范围内性能稳定。在ImageNet训练的ResNet-50，batch size为2时GN的错误率比BN低10.6%；在batch size.