pytorch同批数据测试多轮结果不同

问题

Val验证集，dataloader设置shuffle=True，图像预处理不采用随机增强，使用同一个模型，测试多轮，结果准确率每轮都不同。

分析

正常情况下，同一个模型，同一批数据，测试结果应该相同。如果不同则可能是每轮输入数据随机增强方式不同，或者是每轮模型参数发生改变。但是我并没有采取随机增强，因此问题主要出在模型改变上。

解决

经过仔细分析代码，发现模型预测中没有加model.eval()，加了后每轮评估结果都相同了。

原因

Pytorch model.eval()做了什么

后来查阅资料发现，model.eval()能够去掉模型中的Dropouts层和BatchNorm层等。

而我的模型采用torchvision的resnet18，模型中有BN层，但没有Dropouts层。

如上图所示，γ和β是训练参数，在模型验证过程中不变，但批均值μ和批方差σ与每批的输入相关，而采用shuffle=True会导致每轮验证中批数据不同，因此结果也不同。