keras从入门到放弃(十八）批量标准化

什么是批量标准化

批标准化（Batch Normalization,BN），又叫批量归一化，是一种用于改善人工神经网络的性能和稳定性的技术。 这是一种为神经网络中的任何层提供零均值/单位方差输入的技术。批量标准化用于通过调整和缩放激活来规范化输入层。

在keras中主要使用BatchNormalization

keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', 
moving_mean_initializer='zeros', moving_variance_initializer='ones', beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, 
gamma_constraint=None)

在每一个批次的数据中标准化前一层的激活项， 即，应用一个维持激活项平均值接近 0，标准差接近 1 的转换。

参数

• axis: 整数，需要标准化的轴 （通常是特征轴）。 例如，在 data_format=“channels_first” 的 Conv2D 层之后， 在 BatchNormalization 中设置 axis=1。
• momentum: 移动均值和移动方差的动量。
• epsilon: 增加到方差的小的浮点数，以避免除以零。
• cent