模型训练期间model.train()和model.eval()到底在做什么？

model 可以设置成两种模式，一种是train()，另一种是eval()，

model.train()

该模式下启用 Batch Normalization 和 Dropout；Dropout 会按照给定的概率丢掉一部分信息，Batch Normalization 会继续计算数据的mean和var来更新；

model.eval()

该模式下不启用 Batch Normalization 和 Dropout；Dropout 不会丢失信息，Batch Normalization 会继续计算但是不更新，也就是不进行反向传播（占用资源但是不做事）；

torch.no_grad()

用于停止autograd()的计算，但不影响 Batch Normalization 和 Dropout；可以用于提高计算效率，因为做validation用model.eval()不需要更新参数，那就没有比较计算梯度了，所以直接关闭这个功能，能减少资源浪费；

参考

[1]pytorch中的model. train()和model. eval()到底做了什么？