Torch如何手动释放变量占用的显存

把变量放入显存

你可以使用data.cuda()或者 data.to(device)等命令来把变量放入显存。
这时你的变量占用了显存。如果大量变量占用显存而不清理，显存将会超出限制使得程序结束。

尽管Torch官方提供了自动的显存管理，但是他们并不是都管用，否在我的显存也不是老是爆掉了。这篇博文也不需要写了。

手动释放单个变量

很多教程说torch.cuda.empty_cache()可以用来清理显存，然而只是执行它并没有用。
我们需要将变量删除再清理，这时候才是有用的。

data=copy.deepcopy(train_data[idx])    
data=data.cuda()     
del data     
torch.cuda.empty_cache()

释放列表

index=0
data_list=[]
for idx in range(len(train_data)):

    data=copy.deepcopy(train_data[idx])
    data=data.cuda()
    data_list.append(data)
    
    if len(data_list)==1000:
        break
    

while len(data_list)!=0:
    del data_list[-1]
torch.cuda.empty_cache()