pytorch做inference的时候如何减少显存占用

1、采用with torch.no_grad():

with torch.no_grad():
    tc_data = netG_A(input_data, d_f)

相比于直接做inference，加上with torch.no_grad()能够占用更少的显存。即使设置了netG_A.eval(),占用显存和没设置时是一样的。难道eval()模式也还会保留中间梯度？

tc_data = netG_A(input_data, d_f)

2、删除中间变量：

with torch.no_grad():
    tc_data = netG_A(input_data, d_f)
c_data = tc_data.detach().clone()
del tc_data
torch.cuda.empty_cache()

由于我们只需要最终的结果，而模型inference的时候应该会保留一些中间变量，所以把预测结果的数据单独拷贝出来，然后再删掉原有的结果，能够减少显存占用。