二、Batch Normalization 批标准化

首先看一下什么是一般的 normalization：

在机器学习中，我们需要对输入的数据做预处理，
可以用 normalization 归一化 ，或者 standardization 标准化，
用来将数据的不同 feature 转换到同一范围内，
normalization 归一化 ：将数据转换到 [0, 1] 之间，
standardization 标准化：转换后的数据符合标准正态分布

---

为什么需要做归一化 标准化等 feature scaling？

因为如果不做这样的处理，不同的特征具有不同数量级的数据，它们对线性组合后的结果的影响所占比重就很不相同，数量级大的特征显然影响更大。
进一步体现在损失函数上，影响也更大，可以看一下，feature scaling 之前，损失函数的切面图是椭圆的，之后就变成圆，无论优化算法在何处开始，都更容易收敛到最优解，避免了很多弯路。

---

在神经网络中，不仅仅在输入层要做 feature scaling，在隐藏层也需要做。

尤其是在神经网络中，特征经过线性组合后，还要经过激活函数，
如果某个特征数量级过大，在经过激活函数时，就会提前进入它的饱和区间，
即不管如何增大这个数值，它的激活函数值都在 1 附近，不会有太大变化，
这样激活函数就对这个特征不敏感。
在神经网络用 SGD 等算法进行优化时，不同量纲的数据会使网络失衡，很不稳定。

在神经网络中，这个问题不仅发生在输入层，也发生在隐藏层，
因为前一层的输出值，对后面一层来说，就是它的输入，而且也要经过激活函数，

---

所以就需要做 batch normalization

就是在前一层的线性输出 z 上做 normalization：需要求出这一 batch 数据的平均值和标准差，
然后再经过激活函数，进入到下一层。