model.eval()和with torch.no_grad()的区别
一、在PyTorch中进行validation
时,会使用model.eval()
切换到测试模式,在该模式下,
- 主要用于通知
dropout
层和batchnorm
层在train
和val
模式间切换 - 在
train
模式下,dropout
网络层会按照设定的参数p
设置保留激活单元的概率(保留概率=p
);batchnorm
层会继续计算数据的mean
和var
等参数并更新。 - 在
val
模式下,dropout
层会让所有的激活单元都通过,而batchnorm
层会停止计算和更新mean
和var
,直接使用在训练阶段已经学出的mean
和var
值。
该模式不会影响各层的gradient
计算行为,即gradient
计算和存储与training
模式一样,只是不进行反传(backprobagation)
二、with torch.no_grad()
则主要是用于停止autograd
模块的工作,以起到加速和节省显存的作用,具体行为就是停止gradient
计算,从而节省了GPU算力和显存,但是并不会影响dropout
和batchnorm
层的行为。
三、使用场景
如果不在意显存大小和计算时间的话,仅仅使用model.eval()
已足够得到正确的validation
的结果;而with torch.zero_grad()
则是更进一步加速和节省GPU空间(因为不用计算和存储gradient
),从而可以更快计算,也可以跑更大的batch
来测试。
参考:
https://discuss.pytorch.org/t/model-eval-vs-with-torch-no-grad/19615/38
https://ryankresse.com/batchnorm-dropout-and-eval-in-pytorch/