Pytorch的modle.train，model.eval，with torch.no_grad的个人理解

转载：原博客地址：https://blog.csdn.net/l8947943/article/details/103730804?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

1. 最近在学习pytorch过程中遇到了几个问题，不理解为什么在训练和测试函数中model.eval()，和model.train()的区别，经查阅后做如下整理

一般情况下，我们训练过程如下：

1. 拿到数据后进行训练，在训练过程中，使用

model.train(）：告诉我们的网络，这个阶段是用来训练的，可以更新参数。

1. 训练完成后进行预测，在预测过程中，使用

model.eval() ： 告诉我们的网络，这个阶段是用来测试的，于是模型的参数在该阶段不进行更新。

2. 但是为什么在eval()阶段会使用with torch.no_grad()？

查阅相关资料：传送门

with torch.no_grad - disables tracking of gradients in autograd.
model.eval() changes the forward() behaviour of the module it is called upon
       eg, it disables dropout and has batch norm use the entire population statistics

总结一下就是说，在eval阶段了，即使不更新，但是在模型中所使用的dropout或者batch norm也就失效了，直接都会进行预测，而使用no_grad则设置让梯度Autograd设置为False(因为在训练中我们默认是True)，这样保证了反向过程为纯粹的测试，而不变参数。

另外，参考文档说这样避免每一个参数都要设置，解放了GPU底层的时间开销，在测试阶段统一梯度设置为False