解决CUDA out of memory. Tried to allocate 11GiB (GPU 0； 32GiB total capacity； 18GiB already

最新推荐文章于 2023-08-13 14:38:01 发布
最新推荐文章于 2023-08-13 14:38:01 发布
阅读量3.8k 收藏 5
点赞数 2
分类专栏： 工作小记 文章标签： bug pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justwaityou1314/article/details/116939012
版权

凯哥英语视频
今天用浪潮服务器跑模型遇到一个报错

CUDA out of memory. Tried to allocate 11GiB (GPU 0; 32GiB total capacity; 18GiB already
说是显存不足

一般来说就是 batch_size 过大
最优解决方案, 直接先把batch_size改为1,然后慢慢放大
这样的话, 1可以迅速判断是否是显存问题报错, 2重拾信心啊啊啊

另外,记录一下查看显存的命令和调用运行的命令吧
在这里插入图片描述

别的也没啥说的

ok，那就这样吧~

欢迎各位大佬留言吐槽,也可以深入交流~

justwaityou1314
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
In addition, I tried this method in then project, and I ca
07-24
In addition, I tried this method in project, and I can't see the warn log that can't be closed properly. In addition,In addition, I tried this method in project, and I can't see the warn log that can't be closed properly. In addition,In addition, I tried this method in project, and I can't see the warn log that can't be closed properly. In addition,In addition, I tried this method in project, and I can't see the warn log that can't be closed properly. In addition,
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 2611816 bytes)
10-25
主要介绍了Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 2611816 bytes)错误的解决方法,需要的朋友可以参考下
Unit_6_An_old_man_tried_to_move_the_mountains.教学设计.docx
06-25
Unit_6_An_old_man_tried_to_move_the_mountains.教学设计.docx
Git使用小坑 Out of memory错误的解决方法
01-20
最近公司将内部使用的代码由svn迁到了git上，所以也必须学者使用Git命令。 虽说git的模式和svn区别很大，但想必也不是什么难事。但没曾想在第一步git clone的时候就踩到了一个大坑……废话不多提，先看错误代码： 代码如下: Cloning into XXXX… remote: Couting objects: 125627, done. remote: Compressing objects: 100% (47061/47061), done. fatal: Out of memory, malloc failed (tried to allocate 1941159936 b
解决：CUDA out of memory: Tried to allocate 12.11 GiB......
qq_39654162的博客
07-03 1148
解决：运行推理前：export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32。
解决出现CUDA error:out of memory的问题
qq_46542320的博客
05-24 1万+
使用：CUDA_VISIBLE_DEVICES限制一下使用的GPU。CUDA_VISIBLE_DEVICES=0,1 则使用这两张GPU。CUDA_VISIBLE_DEVICES=0 则使用第一张GPU。CUDA_VISIBLE_DEVICES=1，则使用第二张GPU。如何设置CUDA_VISIBLE_DEVICES？例如：有两块GPU，即0,1号GPU，查阅资料，发现是显卡内存不足。
【释放GPU内存】OutOfMemoryError: CUDA out of memory
weixin_43941438的博客
05-26 8695
使用torch.cuda.empty_cache()方法来释放PyTorch的缓存，以释放一部分被PyTorch占用的GPU内存。这种情况可能是之前的训练占用了显存，没被释放。命令，可以查看到CUDA已经被快被占满。
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 4.00 GiB total capacity； 2.44
热门推荐
华墨1024的博客
04-04 6万+
使用不计算梯度的方法解决RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.44 GiB already allocated; 0 bytes free; 2.45 GiB reserved in total by PyTorch)
pytorch 使用GPU报错 ->RuntimeError: CUDA out of memory. Tried to allocate 1.50 GiB
左手coding，右手cooking
10-15 7193
参考网址 其实 #loss.backward()
RuntimeError: CUDA out of memory. Tried to allocate 326.00 MiB (GPU 0； 23.70 GiB total cap；tmux分屏操作
weixin_44724619的博客
08-13 728
vim ~/.bashrc export TORCH_CUDA_ALLOC_CONF="max_split_size_mb=512" https://www.cnblogs.com/longbigbeard/p/9513491.html
已解决：RuntimeError: CUDA error: out of memory
hh5187的博客
09-26 2万+
1. 检查是否使用了合适版本的torch print(torch.__version__) # 1.9.1+cu111 print(torch.version.cuda) # 11.1 print(torch.backends.cudnn.version()) # 8005 print(torch.cuda.current_device()) # 0 print(torch.cuda.is_available()) # TRUE 2.检查是否显存不足，尝试修改训练的batch size，修
pytorch遇见RuntimeError: CUDA out of memory的解决
橙子Blue不加冰
07-26 7867
RuntimeError: CUDA out of memory 1.查看是否其他程序占用显存 遇到此类错误后，对于py格式的文件来说，程序会进行终止，也就是当前程序占用的显存将会被释放。此时可用 watch -n 1 nvidia-smi 命令查看当前显存的使用情况。如果此时显存依然有比较大的占用，说明存在其他程序占用显存，使用kill命令结束不必要的程序即可。 2.查看pytorch和cuda是否匹配 使用方法torch.cuda.is_available()，确认pytorch和cuda是否匹配，如
解决：torch.cuda.OutOfMemoryError: CUDA out of memory.
weixin_44813538的博客
05-11 1万+
2. 解决：可以尝试将batch_size调小。1. 场景：在改进yolov7过程中出现错误。
解决运行出现CUDA error:out of memory的问题
qq_30653631的博客
07-04 3万+
模型运行出现以下问题，经过查找资料发现解决方案如下： CUDA_VISIBLE_DEVICES限制一下使用的GPU。 比如有0,1,2,3号GPU，CUDA_VISIBLE_DEVICES=2,3，则当前进程的可见GPU只有物理上的2、3号GPU，此时它们的编号也对应变成了0、1，即cuda:0对应2号GPU，cuda:1对应3号GPU。 如何设置CUDA_VISIBLE_DEVICES: ① 使用python的os模块 import os os.environ[‘CUDA_VISIBLE_DEVICES
记录CUDA error: out of memory的成功解决
weixin_54800645的博客
06-05 2358
惊讶地发现：我的torch版本确实和作者预训练的不一致！于是重装了1.4.0的古早torch，激动地去 python main.py 时，这error甚至一点没变化……NVIDIA-smi后显示，运行前没有GPU被占用，方法1pass！os.environ 可以获取有关系统的各种信息，此语句可以指定所要使用的显卡，没有此句默认为0。希望可以帮到大家~也提醒自己长个教训，思路不要被局限住，也要努力拓宽自己的视野，不要人云亦云~我去交流群求助，大家纷纷说是显存的问题，于是我又smi了一下：。
CUDA out of memory问题（已解决）深度学习
weixin_46306002的博客
11-10 2398
CUDA out of memory问题解决
RuntimeError: CUDA out of memory
梁小憨憨的博客
02-12 3390
今天在训练模型的时候突然报了显存不够的问题，然后分析了一下，找到了解决的办法，这里记录一下，方便以后查阅。 **注**：以下的解决方案是在**模型测试**而不是模型训练时出现这个报错的！
CUDA out of memory. Tried to allocate 1.92 GiB (GPU 0; 4.00 GiB total capacity; 2.15 GiB already allocated; 0 bytes free;
最新发布
09-14
这个错误提示表明在进行CUDA操作时，显存不足。你的GPU有4.00 GiB的总容量，但已经有2.15 GiB的显存被使用了，显存已经完全被占用。这种情况下，你可以考虑以下几种方法来解决显存不足的问题： 1. 减少批次大小（Batch Size）：减少每次训练或推理时的批次大小，以降低显存的需求。较小的批次大小可能会增加训练时间，但可以减少显存压力。 2. 减少模型大小：如果你使用的是大型模型，可以尝试减少模型的大小，以减少显存使用量。这可以通过减少网络层数、减少隐藏单元数量或使用更小的嵌入向量等方式实现。 3. 使用更低精度的数据类型：将模型参数和激活值从32位浮点数（float32）转换为16位浮点数（float16），可以减少显存的使用。在PyTorch中，你可以使用.half()方法将模型转换为使用半精度浮点数。 4. 清理显存：在每个训练迭代或推理之后，通过调用torch.cuda.empty_cache()清理未使用的显存碎片。这样可以释放一些显存，但可能会略微增加训练时间。 5. 升级GPU：如果你经常遇到显存不足的问题，考虑升级到具有更大显存容量的GPU。 希望以上方法对解决显存不足的问题有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

justwaityou1314

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值