pytorch报错:RuntimeError: CUDA out of memory.(CUDA内存不足)

查看GPU的运行状况

  • 程序运行中可以通过watch -n 0.1 -d nvidia-smi命令来实时查看GPU占用情况,按Ctrl+c退出
  • 通过nvidia-smi命令来查看某一时刻的GPU的占用情况
    在这里插入图片描述

1、训练阶段

如果是训练时遇到该问题,说明模型的参数太多了,将模型的参数减少该问题就解决了,改小batch_size是不能解决的(我将batch_size设为1都没解决,而且报错时的内存数据都没变),因此,出现这个问题,应该有三个原因:

  • GPU还有其他进程占用显存,导致本进程无法分配到足够的显存
  • 缓存过多,使用torch.cuda.empty_cache()清理缓存(没试过)
  • 卡不行,换块显存更大的卡吧(因为服务器上有4个显卡,所以,选择了序号为3的显卡进行实验)

2、测试阶段

如果是测试时遇到该问题,在测试代码前面加上:with torch.no_grad():

with torch.no_grad():
  # test process

3、GPU显存未释放问题

若使用了上述两种方法还不成功,那么我们就需要手动释放那些已经不需要的进程(这些进程占据着GPU的资源)
我们在使用tensorflow+pycharm 或者PyTorch写程序的时候, 有时候会在控制台终止掉正在运行的程序,但是有时候程序已经结束了,nvidia-smi也看到没有程序了,但是GPU的内存并没有释放,这是怎么回事呢?
使用PyTorch设置多线程(threads)进行数据读取(DataLoader),其实是假的多线程,他是开了N个子进程(PID都连着)进行模拟多线程工作,所以你的程序跑完或者中途kill掉主进程的话,子进程的GPU显存并不会被释放,需要手动一个一个kill才行,具体方法描述如下:

  • 1.先关闭ssh(或者shell)窗口,退出重新登录
  • 2.查看运行在gpu上的所有程序:
fuser -v /dev/nvidia*
  • 3.kill掉所有(连号的)僵尸进程

具体操作步骤如下:

  • 我们可以用如下命令查看 nvidia-smi看不到的GPU进程。
nvidia-smi   

发现内存泄露问题,即没有进程时,内存被占用
在这里插入图片描述

  • 发现僵尸进程(连号的)
fuser -v /dev/nvidia*   

在这里插入图片描述

  • 查看具体这个进程调用GPU的情况
pmap -d PID
  • 强行关掉所有当前并未执行的僵尸进程
kill -9 PID

参考1:https://blog.csdn.net/weixin_38314865/article/details/105998844
参考2:https://www.jianshu.com/p/0d8ea6ca332a

  • 9
    点赞
  • 68
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:技术黑板 设计师:CSDN官方博客 返回首页
评论

打赏作者

还能坚持

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值