Tensorflow使用预训练模型时预测时BN层的问题

这是今晚同学在答疑群群提到的一个问题。

问题表现为模型训练时表现很好，之后在测试数据上表现很差，和预期的差距很大。

这是tensorflow的BN层带来的一个问题， 对于BN层，在训练时，是对每一批的训练数据进行归一化，也即用每一批数据的均值和方差。

而在测试时，比如进行一个样本的预测，就并没有batch的概念，因此，这个时候用的均值和方差是全量训练数据的均值和方差，这个可以通过移动平均法求得。

如果待预测的图片分布与训练图片的分布有大的差别时，直接使用训练数据的均值和方差可能会导致预测结果准确率比较糟糕。

解决办法比较简单，如果你的待预测数据量比较大，直接调用 model(test) 进行预测就行了，这样就使用训练模式，会直接从待预测数据计算其对应的均值和方差。

如果是单个数据或数据分布差异不大，就需要保存BN 层的参数，特别是移动均值和方差，然后直接预测(model.predict)。

来自 日月光华

Tensorflow深度学习入门与实战 - 网易云课堂
​
课程答疑