深度模型（九）：Batch Normalization

批量标准化

批量标准化（batch normalaization）概念由2015年的论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出，后被广泛的应用于深度学习领域。

下面来看一下批量标准化的计算过程。

比如训练数据mini batch的大小为$m$，某个特征$x$的取值为$[x_1,x_2,...,x_m]$，需要对特征$x$做批量标准化，如何计算呢？

我们将$x$的标准化的输出结果记为$y=[y_1,y_2,...,y_m],y_i=B{N}_{\gamma ,\beta }(x_i),i\in [1,m]$，则计算$B{N}_{\gamma ,\beta }$的过程如下：

$$\mu =\frac{1}{m}\sum _{i=1}^m{x}_i$$
$${\sigma }^2=\frac{1}{m}\sum _{i=1}^m(x_i-u{)}^2$$
$${\hat{x}}_i=\frac{x_i-u}{\sqrt{{\sigma }^2+ϵ}}$$
$$y_i=\gamma x_i+\beta$$

其中$\gamma ,\beta$为待训练的参数，$ϵ$为超参。

本质思想

批量标准化的思想，来自于这样一个实验观察现象：当网络的输入分布符合标准分布的时候，训练会比较快的收敛。基于这样的现象，有理由可以猜想，如果网络的每一层的输入都符合标准分布，那么训练的过程应该更快。但是如果人为的改变上一层网络输出值的分布，可能会导致信息丢失，降低模型的表达能力，所以在标准化操作之后，引入的两个可学习的参数$\gamma ,\beta$，来学习原始分布与标准化分布间的映射关系。这样即加快的模型的训练，有不会降低模型的表达能力。