理解Batch Normalization系列1——原理（清晰解释）

Batch Normalization技巧自从2015年被谷歌提出以来，因其有效提升网络训练效率，获得广泛应用与持续研究。然而，要透彻理解BN却不容易，下图是Kainming He在《Learning Deep Representations for Visual Recognition》报告中的一页，只需要注意右下角的红色描述。

图 1. 右下角的红色提示足见BN的费解. (来源: Learning Deep Representations for Visual Recognition)

​

大咖都会在BN上踩坑，可想而知，如果萌新接触这个概念，更是不易。因此《理解Batch Normalization系列》将对Batch Normalization做一个全面总结。

系列目录

理解Batch Normalization系列1——原理

理解Batch Normalization系列2——训练及评估

理解Batch Normalization系列3——为什么有效及若干讨论

理解Batch Normalization系列4——实践

1 初始idea

如果做神经网络训练前，对输入的像素进行标准化处理，将有效降低模型的训练难度。受此启发，作者想到，既然输入层可以加标准化有好处，那么网络里的隐层为什么不可以标准化？

于是，作者通过对每层加权和进行标准化，然后再通过缩放平移来“适度还原”。这样，做到了既不过分破坏输入信息，又抑制了各batch之间各位置点像素分布的剧烈变化带来的学习难度。

在原作中，最主要的思想就是下面这个公式。(别担心！只需要扫一眼即可！)

​ 图 2. BN的核心思想. (来源: Batch Normalization Paper)

我们可以先绕开图2，分以下三步理解。

• 先了解BN给神经网络结构带来了什么。
• 然后理解BN是如何进行前向传播。
• 理解BN是如何进行前向传播

2 原始神经网络的结构

一个经典的神经网络，它的某一个隐层如图3所示。

​ 图 3. 经典网络的示意图

为了和原始论文统一，将之前常见的加权和符号$\vec{z}$改用$\vec{x}$表示。即上一层输出的激活值为$\vec{a} $ ，那么经过本层加权和$W\vec{a}+\vec{b}$处理后，获得加权和$\vec{x} $，然后经过本层激活后即输出$\sigma(\vec{x}) $。

（符号短缺，$\sigma ()$代表求激活，${\sigma }^2$代表方差）

3 BN的神经网络结构

加入BN之后的网络结构如图4所示。

​ 图 4. 加入BN网络的示意图

很抱歉，为了容纳更多的有效信息，导致这个图有点复杂。总体上来说，对于本层的加权和$\vec{x} ， B N