batch-size较小时还能用batch normalization吗？

当我们用自己的显卡训练时，由于显存较小无法使用较大的batch-size，那么使用batch-normalization的效果怎么样呢？
恺明大神新作Group Normalization提出使用Group Normalization 替代深度学习里程碑式的工作Batch normalization。
论文地址：

1 Batch Normalization (BN)

Batch Normalization 是将同一批batch-size的权重进行归一化，先放一张恺明大神论文中的图，这张图表示的是在不同batch-szie下BN和GN的错误率。

从图中可以看出GN在不同的batch-size下都比较稳定，而batch normalization在batch-size大于16时错误率较低。
Batch Normalization是在batch这个维度上Normalization，但是这个维度并不是固定不变的，比如训练和测试时一般不一样，一般都是训练的时候在训练集上通过滑动平均预先计算好平均-mean，和方差-variance参数，在测试的时候，不在计算这些值，而是直接调用这些预计算好的来用，但是，当训练数据和测试数据分布有差别是时，训练集上预计算好的数据并不能代表测试数据，这就导致在训练，验证，测试这三个阶段存在inconsistency。

2 Group Normalization

GN本质上仍是归一化，但是它灵活的避开了BN的问题，同时又不同于Layer Norm，Instance Norm ：

当GN中的G=1是，GN就成了Layer Norm
当GN中的G=C(通道数)时，GN就成了Instance Norm

作者在论文中给出G设为32效果较好

左边没使用norm，中间使用的是BN，右边使用的是GN，可以看出GN的效果最好。

以resnet50为base model，batchsize设置为32在imagenet数据集上的训练误差（左）和测试误差（右）
GN没有表现出很大的优势，在测试误差上稍大于使用BN的结果

可以看出batch-size对GN的影响不大，而BN在batch-size大于16的时候效果才好。

3 总结

如果自己有较好的显卡资源，batch-size大于16的时候建议用BN，否则就用GN。