批量归一化

卷积网络中的批量归一化

1、损失在最后，所以后面的层训练比较快。
2、数据在底部，底部的层训练比较慢，如果底部的层发生变化，顶部的层需要重新训练，结果是收敛变慢。
3、可学习的参数是均值 方差
4、作用在全连接层和卷积层上，激活函数之前
5、对于全连接层，作用在特征维，对于卷积层，作用在通道维。
6、最初论文是想用它来减小内部协变量转移
7、后续有论文指出它可能就是通过在每个小批量里加入噪音来控制模型复杂度（随机偏移 随机缩放）
8、因此没必要跟丢弃法混合使用
9、批量归一化固定小批量中的均值和方差，然后学习出适合的偏移和缩放
10、可以加快收敛速度，但一般不改变模型精度
11、在批量归一化当中加入噪声，来抵消缩放问题，事实上是有效的，目前尚未在理论上有明确的原因，优化中的各种噪声源通常会导致更快的训练和较少的过拟合。这种变化似乎是正则化的一种形式。在一些初步研究中，分别将批量规范化的性质与贝叶斯先验相关联，这些理论揭示了为什么批量规范化最适应50~100范围中的中等批量大小的难题。