前言
在训练模型时,笔者想要每训练一个epoch,记录一下val的准确率,但是每当训练完第一个epoch开始准备跑val数据集的时候,就会出现显存double然后溢出的情况(batch_size在验证和训练时设置相同)。此处将复现笔者出现的问题,并给出解决方案。
正文
原始训练流程:
for eopch in epochs:
for data,label in train_dataloader:
model.train()
train(model,data,label)
model.eval()
val(model,test_dataloader)
#会在执行val的时候显存double,然后out of memory。
改进后训练流程:
for eopch in epochs:
for data,label in train_dataloader:
model.train()
train(model,data,label)
model.eval()
with torch.no_grad():
val(model,test_dataloader)
此时显存不再溢出。
总结
在模型验证时,仍计算梯度,导致模型显存溢出。加上with torch.no_grad():
问题解决。