Pytorch显存充足出现CUDA error:out of memory错误

最新推荐文章于 2024-03-29 15:43:11 发布
VIP文章 最新推荐文章于 2024-03-29 15:43:11 发布
阅读量9.3k 收藏 12
点赞数 1
分类专栏： DL 文章标签： cuda gpu pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hungry_shell/article/details/108059679
版权

Pytorch显存充足出现CUDA error:out of memory错误

Ref:
https://www.cnblogs.com/jisongxie/p/10276742.html

报错内容

img

Bug描述

显存充足，并且已经通过 torch.nn.DataParallel 指定GPU编号
CUDA与CUDNN均无错误，NVIDIA驱动无错误

解决方案

以上情况很可能是是Tensorflow和pytorch冲突导致的，因为我发现当我同学在0号GPU上运行程序我就会出问题。
详见pytorch官方论坛：
https://discuss.pytorc

最低0.47元/天 解锁文章
Kim Zhang
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决出现CUDA error:out of memory的问题
qq_46542320的博客
05-24 1万+
使用：CUDA_VISIBLE_DEVICES限制一下使用的GPU。CUDA_VISIBLE_DEVICES=0,1 则使用这两张GPU。CUDA_VISIBLE_DEVICES=0 则使用第一张GPU。CUDA_VISIBLE_DEVICES=1，则使用第二张GPU。如何设置CUDA_VISIBLE_DEVICES？例如：有两块GPU，即0,1号GPU，查阅资料，发现是显卡内存不足。
【报错解决】RuntimeError: CUDA error: out of memory（已解决）
最新发布
weixin_44502754的博客
03-29 467
【报错解决】RuntimeError: CUDA error: out of memory（已解决）
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 400.00 MiB (GPU 0； 6.00 GiB total
mjmald的博客
07-25 1万+
5. **调整 PyTorch 内存管理设置**: 可以尝试调整 PyTorch 的内存管理设置，例如通过设置`max_split_size_mb` 来避免内存碎片化。3. **释放不需要的显存**: 在某些情况下，可能存在一些不需要的显存被占用，可以使用`torch.cuda.empty_cache()` 来释放不需要的显存。可以尝试减小`batch_size` 参数的值。1. **减少模型的大小**: 可以考虑减少模型的大小，例如通过选择更小的模型、减少模型的层数或通道数等方式，来降低内存需求。
pytorch遇见RuntimeError: CUDA out of memory的解决
橙子Blue不加冰
07-26 7602
RuntimeError: CUDA out of memory 1.查看是否其他程序占用显存 遇到此类错误后，对于py格式的文件来说，程序会进行终止，也就是当前程序占用的显存将会被释放。此时可用 watch -n 1 nvidia-smi 命令查看当前显存的使用情况。如果此时显存依然有比较大的占用，说明存在其他程序占用显存，使用kill命令结束不必要的程序即可。 2.查看pytorch和cuda是否匹配 使用方法torch.cuda.is_available()，确认pytorch和cuda是否匹配，如
pytorch出现RuntimeError: CUDA out of memory的问题解决
qq_36379719的博客
12-06 1772
1、大概率是batch_size设置过大 2、也存在有多线程，把num_works设置为0
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
椰子奶糖的博客
02-03 2万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
显存充足，但提示CUDA out of memory
YasmineC的博客
08-12 6727
详细错误如下： RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch) 认真阅读这个错误后，就去查看了GPU 1，发现显存充足： 但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉
显存充足但是CUDA out of Memory报错解决_查看僵尸进程
qq_40349484的博客
09-13 5127
显存充足但是CUDA out of Memory报错解决_查看僵尸进程
记一次显存充足报CUDA out of memory 的错误
一直大萝北的萝北坑
08-23 833
显存充足 CUDA out of memory
显存充足，但是却出现CUDA error:out of memory错误
dengxuan21210547的博客
01-16 5860
之前一开始以为是cuda和cudnn安装错误导致的，所以重装了，但是后来发现重装也出错了。 后来重装后的用了一会也出现了问题。确定其实是Tensorflow和pytorch冲突导致的，因为我发现当我同学在0号GPU上运行程序我就会出问题。 详见pytorch官方论坛： https://discuss.pytorch.org/t/gpu-is-not-utilized-whil...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
01-01
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if out of memory in str(exception): print(WARNING: out of memory) if hasattr(torch.cuda, 'empty_cache'):
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
记录CUDA error: out of memory的成功解决
weixin_54800645的博客
06-05 2066
惊讶地发现：我的torch版本确实和作者预训练的不一致！于是重装了1.4.0的古早torch，激动地去 python main.py 时，这error甚至一点没变化……NVIDIA-smi后显示，运行前没有GPU被占用，方法1pass！os.environ 可以获取有关系统的各种信息，此语句可以指定所要使用的显卡，没有此句默认为0。希望可以帮到大家~也提醒自己长个教训，思路不要被局限住，也要努力拓宽自己的视野，不要人云亦云~我去交流群求助，大家纷纷说是显存的问题，于是我又smi了一下：。
报错记录torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 90.00 MiB (GPU 0； 7.93 GiB to
gongkeguo的博客
11-03 2万+
python报错记录
解决CUDA error: out of memory
NanXian Lin的博客
03-30 2万+
前情提要： 本人遇到的问题是在训练是正常，一到验证时就会出现cuda error: out of memory的问题 解决思路溯寻： 1.首先就是考虑减少batch_size和num_worker，对于我的情况不奏效 2.然后找到pin_memory发现是设置的True，改为false，仍旧不管用 3.包括把 # Empty GPU cache if torch.cuda.is_available(): torch.cuda.empty_cache()...
CUDA error:out of memory
热门推荐
Arcobaleno
05-16 3万+
今天在运行程序的时候，一直跟我报这个错误，说我CUDA内存不足。调试了很久，最后发现竟然是这样····· 刚开始我怀疑是服务器上的显卡被人用了，但是当我mvidia-smi的时候发现3块GPU都没人用。。那这个问题显然是不可能了。那为何会这样呢？ 又有人说是TensorFlow和Pytorch的版本冲突。？？？我并没有搞到TensorFlow啊 最后参考了该帖子：http:...
Yolov8模型训练报错：torch.cuda.OutOfMemoryError
大雾的小屋的博客
11-10 3904
最近在使用自己的数据训练Yolov8模型的时候遇到了很多错误，下面将逐一解答。 如何解决：torch.cuda.OutOfMemoryError的报错问题。
显存空闲很多但报错RuntimeError:CUDA error:out of memory
m0_55980408的博客
06-10 676
先上问题截图: 问题本身就很离谱，加载预训练模型的时候报显存不足。 接下来就是几个小时的面向百度＋CSDN编程实践。在尝试了网上几乎所有的相关解决方法后，最后还是报错。心力交瘁之际突然想到了“软件误报”的可能性，接下来当然就是“重启”大法。开机后再次执行程序，完美运行!醉了！ 问题原因:软件误报! 解决方法:重启! ...
CUDA Error: out of memory
09-08
CUDA Error: out of memory是指在GPU运行过程中内存不足导致的错误。 出现这个错误的原因是，模型所需的显存超过了GPU的可用内存。这可能是因为模型太大或者输入数据的批次太大。为了解决这个问题，有几个方法可以尝试： 1. 将批次大小(batch size)减小：减小每个批次中的样本数量可以减少模型所需的显存。可以尝试减小批次大小直到不再出现内存不足的问题。 2. 使用item()属性提取torch变量的标量值：在计算过程中，确保只保留必要的变量，而不是保留整个计算图。当你需要提取torch变量的标量值时，使用item()属性而不是保留整个变量。这样可以释放一些显存。 3. 在测试阶段添加代码释放显存：在测试阶段，可以手动释放一些不再使用的显存。可以通过调用torch.cuda.empty_cache()来清空显存。这样可以为后续的计算释放一些显存空间。 请记住，这些方法不一定适用于所有情况。如果问题仍然存在，可能需要考虑使用更大的GPU或减小模型的规模。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [CUDA error: out of memory](https://blog.csdn.net/ayuuuuu/article/details/129376615)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [pytorch模型提示超出内存RuntimeError: CUDA out of memory.](https://download.csdn.net/download/weixin_38552305/14884908)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值