本文探讨了在PyTorch中遇到的GPU内存问题，包括显存爆炸的原因，如内存泄漏和不当使用全局变量。提出了解决方案，如使用detach().item()处理loss，手动调用gc.collect()进行内存回收，以及适当调整batch_size和DataLoader的num_workers。同时，文章还提到了如何提高GPU利用率，如使用pin_memory=True和inplace操作，并建议在训练开始时启用torch.backends.cudnn.benchmark。最后，给出释放GPU内存的技巧torch.cuda.empty_cache()。
如今研究人工智能，跑深度学习算法，显卡/GPU绝对是第一大门槛，所以不管您是1080Ti还是V100，如果不能发挥出GPU的最大能力，那它可能就是不是显卡而是块普通的砖头了吧。
显卡爆炸
显卡爆炸和内存的使用紧密相连，特别是在代码中对某些变量的不当使用，很有可能内存泄露，从而慢慢得导致显卡OOM(out of memory)。一般来说，计算模型时显存主要是模型参数 + 计算产生的中间变量，细分可以占用分四个部分：
模型参数
模型计算中间结果
反向传播中间结果
优化器额外参数
但是如果模型出现显卡内存不足的错误(torch.FatalError: cuda runtime error (2) : out of memory)，很难第一时间确定出问题的所在，不过Pycharm的图形化内存分析工具memory profiler可以看到每一部分的时间和函数引用关系，通过这个工具可以确定出问题的某些行代码。说到工具，也有可以通过htop监控下显卡的：
sudo apt-get install htop
htop -d=0.1 #d为更新频率，0.1s更新一次
watch -n 0.1 nvidia-smi #监控内存，0.1s刷新一次
显存比较常见的一些问题有：
全局变量累加导致内存泄漏，如loss变量的处理。这里要注意的是，一定要先和GPU detach了，仅仅使用loss的数值，不然添加的实际上是整个计算图。当然除了loss，其他的变量问题基本上都是出现内存泄露的原因呀。
epoch_loss += loss.d
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
