使用tensorflow的slim中的batch_norm不好使,使用tf.layers.batch_normalization保存模型必写部分

在使用slim构建模型时导入了normalizer_fn=slim.batch_norm的BN层出现is_training=False时精度较低或不对。使用tf.layers.batch_normalization作为BN层好使。

模型构建代码如下

with slim.arg_scope([slim.conv2d],
                        kernel_size=[3, 3],
                        padding='SAME',
                        stride=1,
                        weights_regularizer=slim.l2_regularizer(0.0005),
                        activation_fn=tf.nn.relu,
                        normalizer_fn=tf.layers.batch_normalization,
                        normalizer_params={'training': train}
                        ):
       pass

当保存模型可以如下设置

with tf.Graph().as_default():
	....model()....
	update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
	with tf.control_dependencies(update_ops):
	    optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss, global_step=global_step)
	var_list = tf.trainable_variables()
	g_list = tf.global_variables()
	bn_moving_vars = [g for g in g_list if 'moving_mean' in g.name]
	bn_moving_vars += [g for g in g_list if 'moving_variance' in g.name]
	var_list += bn_moving_vars
	saver = tf.train.Saver(var_list=var_list, max_to_keep=5)
    config = tf.ConfigProto()
    config.gpu_options.allow_growth = True
    with tf.Session(config=config) as sess:
    	saver.save(sess, PATH)
    	pass
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值