有关keras BatchNormalization需要注意的地方

有关keras BatchNormalization需要注意的地方

最近这两天有关keras BatchNormalization的参数问题对我造成了很大困扰，先后阅读了两篇博文keras BatchNormalization的坑，和keras BatchNormalization 之坑。这两篇文章对batchnormalization的training开不开有不同的见解。
我用下面代码进行测试training=True和False的情况：

for layer in model.layers:
    if type(layer)==type(tf.keras.layers.BatchNormalization()):
        print(layer.moving_mean)

结果发现，如果training=True或者不进行设置，moving_mean在训练后是有所变化的，但如果training=False，moving_mean保持初值，也就是为全0的矩阵。
这个结果也证实了keras BatchNormalization的坑作者的结论是正确的。实际训练时其实不需要动这个参数，如果模型不收敛，通常是momentum的值不合适。
有关keras BatchNormalization的training与trainable参数的详细说明，可以参考keras官方文档。