【tensorflow-keras-BatchNormalization】BatchNormalization批量标准化层

标准化层 Normalization - Keras 中文文档 https://keras.io/zh/layers/normalization/#batchnormalization
什么是批标准化 (Batch Normalization) - zh https://zhuanlan.zhihu.com/p/24810318

BN 效果
Batch normalization 也可以被看做一个层面. 在一层层的添加神经网络的时候, 我们先有数据 X, 再添加全连接层, 全连接层的计算结果会经过 激励函数 成为下一层的输入, 接着重复之前的操作. Batch Normalization (BN) 就被添加在每一个全连接和激励函数之间.

之前说过, 计算结果在进入激励函数前的值很重要, 如果我们不单单看一个值, 我们可以说, 计算结果值的分布对于激励函数很重要. 对于数据值大多分布在这个区间的数据, 才能进行更有效的传递. 对比这两个在激活之前的值的分布. 上者没有进行 normalization, 下者进行了 normalization, 这样当然是下者能够更有效地利用 tanh 进行非线性化的过程.

没有 normalize 的数据 使用 tanh 激活以后, 激活值大部分都分布到了饱和阶段, 也就是大部分的激活值不是-1, 就是1, 而 normalize 以后, 大部分的激活值在每个分布区间都还有存在. 再将这个激活后的分布传递到下一层神经网络进行后续计算, 每个区间都有分布的这一种对于神经网络就会更加有价值.

Batch normalization 函数

keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True,
 scale=True, beta_initializer='zeros', gamma_initializer='ones', 
 moving_mean_initializer='zeros', moving_variance_initializer='ones', 
 beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, 
 gamma_constraint=None)

批量标准化层 (Ioffe and Szegedy, 2014)。

在每一个批次的数据中标准化前一层的激活项， 即，应用一个维持激活项平均值接近 0，标准差接近 1 的转换。

参数

• axis: 整数，需要标准化的轴 （通常是特征轴）。 例如，在 data_format=“channels_first” 的 Conv2D 层之后， 在 BatchNormalization 中设置 axis=1。
• momentum: 移动均值和移动方差的动量。
• epsilon: 增加到方差的小的浮点数，以避免除以零。
• center: 如果为 True，把 beta 的偏移量加到标准化的张量上。 如果为 False， beta 被忽略。
• scale: 如果为 True，乘以 gamma。 如果为 False，gamma 不使用。 当下一层为线性层（或者例如 nn.relu）， 这可以被禁用，因为缩放将由下一层完成。
• beta_initializer: beta 权重的初始化方法。
• gamma_initializer: gamma 权重的初始化方法。
• moving_mean_initializer: 移动均值的初始化方法。
• moving_variance_initializer: 移动方差的初始化方法。
• beta_regularizer: 可选的 beta 权重的正则化方法。
• gamma_regularizer: 可选的 gamma 权重的正则化方法。
• beta_constraint: 可选的 beta 权重的约束方法。
• gamma_constraint: 可选的 gamma 权重的约束方法。

输入尺寸

可以是任意的。如果将这一层作为模型的第一层， 则需要指定 input_shape 参数 （整数元组，不包含样本数量的维度）。

输出尺寸

与输入相同。