解决训练网络时候显存一直增加的问题（torch）

方法1：

torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True

原理：

cundnn遵循以下准则：

1. 如果网络的输入数据维度或类型上变化不大，设置  torch.backends.cudnn.benchmark = true  可以增加运行效率；
2. 如果网络的输入数据在每次 iteration 都变化的话，会导致 cnDNN 每次都会去寻找一遍最优配置，这样会运行效率。

 

方法2：

Tensor计算时要写成：

train_loss += loss.item()