Pytorch的训练模式和测试模式切换
使用时切记要根据实际情况切换:
model.train()
model.eval()
一般训练时候:
net = NoduleNet() net = net.cuda() cudnn.benchmark = True net = DataParallel(net) net.train()
测试时候:
net = NoduleNet() net = net.cuda() net = DataParallel(net) net.eval()
针对model 在训练时和测试的时候不同的 Batch Normalization 和 Dropout 方法模式所以要切换.
但是在我的测试下相同的数据,不同次的测试结果还是会不一样.虽然是在一定范围内波动.但是还是不爽.
https://blog.csdn.net/kangk_521/article/details/81225787这篇博客让我知道,原来是在跑evaluation的时候,因为dropout的存在,每次运行会随机丢一些中间结果,从而导致最终结果有差异.而他给的方法我不太明白
http://www.cnblogs.com/king-lps/p/8570021.html博文说 eval即evaluation模式,train即训练模式。仅仅当模型中有Dropout
和BatchNorm
是才会有影响。因为训练时dropout和BN都开启,而一般而言测试时dropout被关闭,BN中的参数也是利用训练时保留的参数,所以测试时应进入评估模式。 但是按照他的说法应该测试结果不变才对啊.