学习笔记——Batch Normalization批标准化

Batch Normalization批标准化

由于深度网络会出现训练速度变慢，梯度消失的问题，BN的作者分析是因为神经元的输入在Sigmoid函数的平缓段。输入值（WX+B）距离0太远，非线性激活函数的结果太接近-1或者1，从而导致训练时出现梯度消失的问题。

BN的操作是根据训练集分布，计算样本均值和方差，将原问题转换成0均值，1方差的标准正态分布。

但是正态分布如果太接近0，太接近线性，会使深度网络失去表达能力，因此有偏移了均值与方差。对每个神经元给出了两个可以设计的参数（通过学习得到），目的是平衡非线性特性与梯度学习速度。

详细内容见：
https://www.cnblogs.com/guoyaohua/p/8724433.html