(Batch Normalization)批标准化算法理解

批标准化

1.概念

batch normalization，就是“批规范化”，即为了克服神经网络层数加深，收敛速度变慢，常常导致梯度消失（vanishing gradient problem)或梯度爆炸（gradient explore)，通过引入批标准化来规范某些层或者所有层的输入，从而固定每层输入信号的均值与方差。

2.方法

批标准化: 一般用在非线性映射(激活函数）之前，对 $x = W_u + b$ 做规范化，使结果（输出信号各个维度）的均值为0，方差为1 。让每一层的输入有一个稳定的分布会有利于网络的训练。
BN算法在网络中的应用
传统的神经网络，只是在将样本x输入输入层之前对x进行标准化处理（减均值，除标准差），以降低样本间的差异性。BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化。如下图

标准化后的x乘以权值矩阵$W_{h1}$加上偏置$b_{h1}$得到第一层的输入 Wh1x+bh1