Batch Normalization：批量归一化详解

为什么要使用BN

在深度学习中，层数很多，可能有几十层甚至上百层，每次训练激活的过程中，参数不断改变，导致后续每一层输入的分布也发生变化，而学习的过程就是要使每一层适应输入的分布，如果不做BN就会使模型学的很小心，也会使学习速率变慢，因此我们不得不降低学习率、小心地初始化。

那怎么才能让我们的模型学习的更高效呢？
原有的方式可能是歪着学的，学的效果不是很好，如下图B所示，现在我们需要让它激活到一个更适合学习的位置上，那就需要把它放到原点，这个位置更适合，这时候就需要BN了

原点周围更敏感，假定一开始你的数据不在原点周围，后面如果越来越偏，说不定会偏去哪，也就是指W一会大一会小，一会是正值，一会是负值，如下图B所示，也不利于更新。

BN的工作原理

批量归一化 （Batch Normalization， BN）方法是一种有效的逐层归一化方法，可以对神经网络中任意的中间层进行归一化操作。

Batch Normalization，顾名思义，以进行学习时的batch为单位，按batch进行规范化。具体而言，把每层神经网络任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布，用数学式表示的话，如下所示：

m代表batch的大小， μ B μ_B μ<