BatchNormalization的相关注意点

学习记录贴（1）- 2021.3.10

keras BatchNormalization

今天重新学习了BatchNormalization，发现遗漏的小知识还是不少的，今天的学习主要是参考了这位大佬的一篇文章：keras BatchNormalization的坑（training参数和 momentum参数）

根据了解，总结如下：

1. batch，即每个epoch训练的样本数，最好不要小于100个，因为：

使用权重滑动平均法时，若将衰减率momentum设置为0.99，最后moving_mean的值越约等于最后100个mean的加权，若我们设置的batch数量远远小于100时，momentum还使用默认值0.99的话，几乎不会通过每个批次更新，也就导致了训练集使用的mean是每个批次的均值，而测试集使用的mean几乎等于初值，产生很大差异！（方差也一样），训练时和测试时的mean和var差异太大这个坑就是因为这个原因

2. 如果使用BatchNormalization，那么训练的batch_size最好就不要太小。如果显卡不足以使用大的batch_size，那么可以考虑选择Group Normalization，这个对小批次训练较为友好。BatchNormalization与Group Normalization的对比图如下：
   其中，横轴表示每个GPU上的batch size大小，从左到右一次递减，纵轴是误差率，可见，在batch较小的时候，GN较BN有少于10%的误差率

3. 根据部分个人见解，batch和momentum之间的关系大致为:batch * (1 - momentum ) = 1。即如果batch=10时，那么momentum 最好就取0.9；batch=50时，那么momentum 最好就取0.98；当batch大于等于100时，一般就按默认值就行了，默认值一般为0.99。当然，具体实际情况得看你的工程决定。