model.eval()
- 会计算梯度,但是不会进行反向传播
- 仅仅所用于dropout和BatchNorm层进行模式切换。dropout层都可以通过;BN层则不会更新均值和方差,而是使用训练阶段的均值和方差。
- 因此,在由dropout和BN层的时候必须使用model.eval()
with torch.no_grad()
- 被该语句包裹起来的语句不会计算梯度(由输入得到的新张量requires_grad被置为FALSE),也不进行反向传播(即停止了autograd模块的工作),也不会影响dropout和BN层的行为。起到加速和节省显存的作用。
x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
with torch.no_grad():
w = x + y + z
print(w.requires_grad) # False
print(w.grad_fn) # None
print(w.requires_grad) # False
requires_grad()
- requires_grad()=True时,表示需要计算梯度;反之表示不需要计算梯度。注意:只要有一个输入的requires_grad()=True,输出就需要计算梯度;只有所有输入都不需要计算梯度时,输出才不需要计算梯度。
x = Variable(torch.rand(3,3))
y = Variable(torch.rand(3,3))
z = Variable(torch.rand(3,3), requires_grad=True)
a = x+y # False
b = x+z # True
volatile
- volatile=True也表示不计算梯度(即使requires_grad()=True也不计算梯度),优先级比requires_grad强,它是将所有依赖它的节点都设置为volatile=True。即只要有一个输入volatile=True,输出的volatile=True。
- 但是注意,在0.4以后的版本已经不使用volatile了,而是使用with torch.no_grad()代替
小结
在由dropout层的时候,必须使用model.eval()。在其他情况下,使用二者之一用于测试得到的结果是相同的。二者也可以同时使用,no_grad()能够加速和节省gpu,从而更快,可以设置更大的batch size。