cs231n笔记-批量归一化

批量归一化 Batch Normalization

期望

高斯范围内保持激活
unit gaussian activations

操作

1. 在每个唯独独立计算经验均值和方差
2. 归一化
3. 合理缩放
   
   通常在全连接层或者卷积层的后面，非线性操作的前面进行归一化操作。

问题：tanh层是否真的希望得到高斯输入？

3. 合理放缩
   
   引入超参数$\gamma$和$\beta$来对归一化后的x进行合理放缩

1. 改善网络中的梯度流
2. 允许使用更高的学习率
3. 减少对初始化的依赖
4. 作为一种规范的方法，试图减少神经元的失活率

Notes

At test time BatchNorm layer functions differently:
The mean/std are not computed based on the batch. Instead, a single fixed empirical mean of activations during training is used.
(e.g. can be estimated during training with running averages)