pytorch训练过程显存一直增加的问题

之前遇到了爆显存的问题，卡了很久，试了很多方法，总算解决了。
总结下自己试过的几种方法：

**1. 使用torch.cuda.empty_cache()
在每一个训练epoch后都添加这一行代码，可以让训练从较低显存的地方开始，但并不适用爆显存的问题，随着epoch的增加，最大显存占用仍然会提示out of memory 。

2.使用torch.backends.cudnn.enabled = True 和 torch.backends.cudnn.benchmark = True
原理不太清楚，用法和1一样。但是几乎没有效果，直接pass。

3.最重要的：查看自己的forward函数是否存在泄露。
常需要在forward函数里调用其他子函数，这时候要特别注意：

input尽量不要写在for循环里面！！！

子函数里如果有append（）等函数，一定少用，能不用就不用！！！

子函数list一定少用，能不用就不用！！！

总之，子函数一般也不会太复杂，直接写出来，别各种for，嵌套，变量。！！！

---