Pytorch避免更新模型梯度

1. torch.no_grad

(1) 用法

with torch.no_grad():
  具体操作

(2) 说明
上例的“具体操作”中均不更新梯度，这样可以节约计算时间和内存。一般用于验证或者测试阶段。

2. param.requires_grad

(1) 用法

p.requires_grad=False

(2) 说明
一般用于将某一层设置为不自动更新梯度，以避免训练模型时对该层调参。

3. model.eval

(1) 用法

model.eval()
具体操作

(2) 说明
模型支持train模式和eval模式，在使用模型之前调用model.eval()，进入eval评估模型，它将改变forward，如禁止dropout，并用统计数据做batch norm。因此，有时train模式和eval模式模型计算的结果不同。