keras在使用预训练模型做冻结层训练的时候，acc和valacc不一致问题

最新推荐文章于 2021-12-11 22:16:08 发布

leofionn

最新推荐文章于 2021-12-11 22:16:08 发布

阅读量572

点赞数

分类专栏： keras 文章标签： 1024程序员节

本文链接：https://blog.csdn.net/qq_36142114/article/details/109262801

版权

keras 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

文章探讨了在Keras中训练模型时，针对BatchNormalization层的优化策略。原始代码存在可能导致OOM（内存溢出）的风险。文中提出了两种解决方案：一是仅训练BN层，二是初始化并训练BN层的权重。这两种方法旨在减少内存消耗，提高训练效率。建议在实际应用前进行测试验证。

摘要由CSDN通过智能技术生成

原本地址：
https://www.pythonheidong.com/blog/article/365893/78ee2e261bcc9957df4d/

上篇文章中介绍;

for layer in model.layers:
    if hasattr(layer, 'moving_mean') and hasattr(layer, 'moving_variance'):
        layer.trainable = True
        K.eval(K.update(layer.moving_mean, K.zeros_like(layer.moving_mean)))
        K.eval(K.update(layer.moving_variance, K.zeros_like(layer.moving_variance)))
    else:
        layer.trainable = False

但是上述代码有OOM风险。
在上篇文章中，keras的一个issue也提到了这个问题

https://github.com/keras-team/keras/issues/9214#issuecomment-422490253
issue中的一个评论
http://digital-thinking.de/keras-transfer-learning-for-image-classification-with-effificientnet/

仅训练BN层

    for layer in xce.layers[:]:
        layer.trainable = False
        if layer.name.endswith('bn'):
           layer.trainable = True

或者

https://zhuanlan.zhihu.com/p/124031503

he_normal = tf.keras.initializers.he_normal()
for layer in xce.layers:
    if layer.name.endswith('_bn'):
        new_weights = [
            he_normal(layer.weights[0].shape), # Gamma
            tf.zeros(layer.weights[1].shape), # Beta
            tf.zeros(layer.weights[2].shape), # Mean
            tf.ones(layer.weights[3].shape)] # Std

        layer.set_weights(new_weights)
        layer.trainable = True
    else:
        layer.trainable = False

如上代码还未测试，在测试后会将结果添加上。