6.11 批标准化

一、什么是标准化

传统机器学习中标准化也叫做归一化，

一般是将数据映射到指定的范围，用于去除不同维度数据的量纲以及量纲单位。

数据标准化让机器学习模型看到的不同样本彼此之间更加相似，这有助于模型的学习与对新数据的泛化。

常见的数据标准化形式：

标准化和归一化

将数据减去其平均值使其中心为 0，然后将数据除以其标准差使其标准差为 1。

标准化：减均值，除方差

归一化：减最小值，除最大值减最小值

二、什么是批标准化

Batch Normalization, 批标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化神经网络的一种方法

批标准化：

        不仅在将数据输入模型之前对数据做标准化。
        在网络的每一次变换之后都应该考虑数据标准化

        即使在训练过程中均值和方差随时间发生变化，它也
        可以适应性地将数据标准化

好处：

我们知道数据预处理做标准化可以加速收敛，同理，在神经网络使用标准化也可以加速收敛，而且还有更多好处。

1、具有正则化的效果
2、提高模型的泛化能力
3、允许更高的学习速率从而加速收敛
4、批标准化有助于梯度传播，因此允许更深的网络。对于有些特别深的网络，只有包含多个
BatchNormalization 层时才能进行训练。

三、Keras实现批标准化

BatchNormalization 广泛用于 Keras 内置的许多高级卷积神经网络架构，比如 ResNet50、 InceptionV3 和 Xception

BatchNormali