加入BN层后预测与训练时准确率差距很大解决方案，is_traing参数（ResNet,GoogLeNet,Inception)

最新推荐文章于 2023-02-20 20:58:15 发布

执契

最新推荐文章于 2023-02-20 20:58:15 发布

阅读量5.4k

点赞数 2

分类专栏： # 视觉相关网络文章标签： BN层 Batch Normalization 准确率差距很大 GoogLeNet ResNet

本文链接：https://blog.csdn.net/qq_36187544/article/details/91429723

版权

视觉相关网络专栏收录该内容

7 篇文章 2 订阅

订阅专栏

环境：tensorflow 1.13.1 python 3.7.3

问题描述：网络中有BN层，训练时设置is_traing=True,验证时设置为False，发现验证或者测试时准确率差距很大。且发现batch-size对其影响严重，就是说如果batch-size=1进行预测时分类结果全部为一类，但是batch-size>=2时，准确率大概70%（训练结果准确率为98%）。一个batch内的不同数据会相互影响，两个相近数据得到的分类结果偏差更大。

问题分析：找了很久，网络上很多说训练Is_traing=True，验证时为False，都是这样设置的。甚至有人说训练验证都设置为True。究其原因，是因为BN层参数未保存！！！

问题解决：存储saver时手动存储变量

在训练或者测试时，saver的初始化如下：

var_list = tf.trainable_variables()
g_list = tf.global_variables()
bn_moving_vars = [g for g in g_list if 'moving_mean' in g.name]
bn_moving_vars += [g for g in g_list if 'moving_variance' in g.name]
var_list += bn_moving_vars
saver = tf.train.Saver(var_list=var_list, max_to_keep=5)

PS：这之前更基础的是定义完整的BN层，比如这些，最后还是发现问题尝试下以上解法：