pytorch 中detach() 和 with torch.no_grad()和eval()

detach() 和 torch.no_grad() 都可以实现相同的效果，只是前者会麻烦一点，对每一个变量都要加上，而后者就不用管了:

- detach() 会返回一个新的Tensor对象，不会在反向传播中出现，是相当于复制了一个变量，将它原本requires_grad=True变为了requires_grad=False

- torch.no_grad() 通常是在推断(inference)的时候，用来禁止梯度计算，仅进行前向传播。在训练过程中，就像画了个圈，来，在我这个圈里面跑一下，都不需要计算梯度，就正向传播一下。
 

而model.eval()和torch.no_grad()两者都用，因为两者有着不同的作用：

- torch.no_grad()：在autograd中禁用梯度跟踪

- model.eval()：更改所调用模块的forward()行为。例如，它禁用dropout，并使用测试时bn norm