Tensorflow使用预训练模型时预测时BN层的问题

这是今晚同学在答疑群群提到的一个问题。

问题表现为模型训练时表现很好,之后在测试数据上表现很差,和预期的差距很大。

这是tensorflow的BN层带来的一个问题, 对于BN层,在训练时,是对每一批的训练数据进行归一化,也即用每一批数据的均值和方差。

而在测试时,比如进行一个样本的预测,就并没有batch的概念,因此,这个时候用的均值和方差是全量训练数据的均值和方差,这个可以通过移动平均法求得。

如果待预测的图片分布与训练图片的分布有大的差别时,直接使用训练数据的均值和方差可能会导致预测结果准确率比较糟糕。

解决办法比较简单,如果你的待预测数据量比较大,直接调用 model(test) 进行预测就行了,这样就使用训练模式,会直接从待预测数据计算其对应的均值和方差。

如果是单个数据或数据分布差异不大,就需要保存BN 层的参数,特别是移动均值和方差,然后直接预测(model.predict)。

来自 日月光华

Tensorflow深度学习入门与实战 - 网易云课堂

课程答疑

  • 0
    点赞
  • 3
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论

打赏作者

日月光华老师

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值