有关keras BatchNormalization需要注意的地方

原创已于 2023-01-18 17:24:17 修改 · 485 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#keras #深度学习 #人工智能 #tensorflow

于 2023-01-15 22:38:26 首次发布

深度学习专栏收录该内容

4 篇文章

订阅专栏

文章探讨了在Keras中使用BatchNormalization层时，training参数的重要性。当training=True，moving_mean在训练过程中会更新；反之，若设置为False，它保持初始值。作者建议在实际训练中应保持training=True，模型不收敛可能是由于momentum设置不当。查阅官方文档有助于深入理解该参数。

有关keras BatchNormalization需要注意的地方

最近这两天有关keras BatchNormalization的参数问题对我造成了很大困扰，先后阅读了两篇博文keras BatchNormalization的坑，和keras BatchNormalization 之坑。这两篇文章对batchnormalization的training开不开有不同的见解。
我用下面代码进行测试training=True和False的情况：

for layer in model.layers:
    if type(layer)==type(tf.keras.layers.BatchNormalization()):
        print(layer.moving_mean)

结果发现，如果training=True或者不进行设置，moving_mean在训练后是有所变化的，但如果training=False，moving_mean保持初值，也就是为全0的矩阵。
这个结果也证实了keras BatchNormalization的坑作者的结论是正确的。实际训练时其实不需要动这个参数，如果模型不收敛，通常是momentum的值不合适。
有关keras BatchNormalization的training与trainable参数的详细说明，可以参考keras官方文档。