显存充足但是CUDA out of Memory报错解决_查看僵尸进程

已于 2023-04-10 11:05:06 修改
阅读量5.3k 收藏 13
点赞数 8
分类专栏： 杂谈 文章标签： 深度学习 人工智能 debug cuda OOM
于 2022-09-13 10:10:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40349484/article/details/126827689
版权

GPU OOM 僵尸进程 nvidia-smi kill
关键词由CSDN通过智能技术生成

首先排除了是batchsize太大的原因，我从16改到了1，还是一直在OOM，而且更重要的是，前一天还是能跑的，今天就跑不了了55。

然后突然想到是不是僵尸进程的原因，僵尸进程是不会显示在nvidia-smi里的

去网上搜了搜怎么看僵尸进程的方法：fuser -v /dev/nvidia* 这条命令用不用sudo都行。

我看了两次，真让我找到两个叛徒。nvidia-smi里面根本没有它们。kill掉之后终于能跑啦
在这里插入图片描述
在这里插入图片描述

-------------------------------一些碎碎念--------------------------
好久没写了咳咳。
以后大概不会继续写论文阅读了，之前刚开始读论文总感觉读不太懂，所以写一遍加深印象。
现在慢慢步入正轨了（主要还是懒，写下来真的好麻烦OO）
以后大概是bug解决居多吧()

糖豆豆今天也要努力鸭
关注
  • 8
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
椰子奶糖的博客
02-03 3万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
`OutOfMemoryError: CUDA out of memory`
最新发布
沉淀、分享、成长，让自己和他人都能有所收获！
07-12 3万+
大家好，我是默语，擅长全栈开发、运维和人工智能技术。。这个错误通常在使用GPU训练深度学习模型时发生，原因是显存不足，无法分配所需的内存空间。本文将深入分析这一错误的原因，提供解决方法，并探讨如何优化显存使用以防止此类错误的发生。希望通过本文的分享，能帮助大家更好地解决这个问题，并提高模型训练的效率。📈错误原因解决方法示例代码模型过大模型裁剪，减少参数数量批处理大小过大减小批处理大小梯度累积使用梯度累积技术，减少单次显存占用。
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
显存充足，但提示CUDA out of memory
YasmineC的博客
08-12 7222
详细错误如下： RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch) 认真阅读这个错误后，就去查看了GPU 1，发现显存充足： 但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉
显卡显存充足，但是报错：CUDA error: out of memory
惊魂呓梦的博客
08-15 3909
显卡显存充足，但是报错：CUDA error: out of memory
显存充足却提示out of memory(allocated memory try setting max_split_size_mb to avoid fragmentation)
睦生
10-28 6896
在训练模型的过程中，遇到如下问题：显存有一半以上的空间却仍然报out of memory的错误。本文总结网上的相关解决方案，由于这些方案对本问题均无效，本文经过实践提出了一种新的解决方法。
YOLOX训练：显存足够，但依旧CUDA out of memory（Tried to allocate 5.58 GiB，8.00 GiB total capacity，6.40 GiB free）
ELSA001的博客
10-20 1万+
刚刚我尝试训练自己的yolox_s模型，但我batch_size不管改成多少，甚至改成1，都直接报CUDA out of memory，我很苦恼，这里明明显示我的显存是足够的，但是依旧OOM。 训练命令如下： (mypytorch) E:\YOLOX>python tools/train.py -f exps/example/yolox_voc/yolox_voc_s_bm.py -d 1 -b 2 --fp16 -o -c weights/yolox_s.pth 我在这里加载了GitHub的预训练
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
在使用PyTorch进行深度学习模型的训练和测试过程中，可能会遇到“显存溢出”（Out of Memory，OOM）的问题。这个问题通常是由于GPU内存不足以存储所有计算所需的张量而导致的。以下是一些解决PyTorch训练与测试时...
显存充足，pytorch却报错CUDA out of memory？(已解决)
weixin_45914748的博客
11-25 1万+
明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。
CUDA out of memory，但是显存明明有大量剩余
weixin_45788091的博客
04-27 3305
CUDA out of memory，但是显存明明有大量剩余。
CUDA out of memory.(已解决）
热门推荐
weixin_43398590的博客
04-08 15万+
CUDA out of memory.(已解决） 有时候我们会遇到明明显存够用却显示CUDA out of memory，这时我们就要看看是什么进程占用了我们的GPU。 按住键盘上的Windows小旗子+R在弹出的框里输入cmd，进入控制台。 nvidia-smi 这个命令可以查看GPU的使用情况，和占用GPU资源的程序。我们看到python再运行完以后没有释放资源导致GPU的内存满了。 可以...
显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4095
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
Pytorch：测试保存训练模型时，显存充足，却提示cuda out of memory的问题
qq_45656271的博客
05-26 2939
在训练网络结束后，测试训练模型，明明显存还很充足，却提示我cuda out of memory 出现这种问题，有可能是指定GPU时出错（注意指定空闲的GPU），在排除这种情况以后，通过网上查找，说有可能是测试时的环境与训练时的环境不一样所导致，例如在网络训练时所使用的pytorch版本和测试时所使用的版本不同。由于我训练和测试用的同一虚拟环境，故排除这种情况。 还有一种说法，是因为pytorch的版本和cuda的版本不匹配所导致，经检查，也不是这方面的问题。 最后发现，在加载模型的时候，原代码为
明明显存足够但是报错CUDA out of memory的问题
m0_50317149的博客
08-15 1075
换个同样配置的电脑能跑，昨天还能跑今天突然跑不动了。错误显示Tried to allocate 64.00 MiB ，但是2Gib free，这里我就不配图了没有存，言下之意就是说我还有2GB空闲显存，但是加载64mb就报错了，这里空闲显存指的是已经去除pytorch预留显存的空闲现存。最后发现是环境问题，应该是由于昨天在开发的时候不知道加了什么模块进去导致的冲突，我一直又备份环境的习惯，把最初的环境重新放到anaconda的env中，删掉了有问题的环境，可以跑了。
记一次显存充足报CUDA out of memory 的错误
一直大萝北的萝北坑
08-23 880
显存充足 CUDA out of memory
学习笔记40-Ubuntu下跑Aplaca报错：torch.cuda.0utofMemoryError: CUDA out of memory.解决办法（查看CUDA占用情况&清除GPU缓存）
LZL2020LZL的博客
04-21 5937
发现在执行程序时仅使用极少的内存（图片-1%），因此不是内存不足，考虑可能是缓存爆了！
显存充足cuda out of memory
06-28
### 回答1： 当你在使用CUDA进行计算时，如果你的显存充足，那么就不会出现"CUDA out of memory"的错误。这个错误通常出现在你的显存不足以容纳你需要运算的数据时。为了解决这个问题，你可以考虑使用更大的显卡或者减少你的数据量。此外，你还可以尝试使用分批次处理的方法，将数据分成多个小批次进行运算，以减少显存的压力。 ### 回答2： “显存充足 cuda out of memory”的意思是指，在使用CUDA进行计算时，由于数据量过大或计算任务过于复杂使得显存空间不足，导致程序无法正常运行的现象。这一问题通常会影响许多需要使用GPU进行深度学习、图像处理等计算的应用程序。 要解决这个问题，首先需要确保你的显卡的显存足够。如果显存确实不足，那么仅仅扩大显存是不能解决问题的。解决此问题的关键解决办法是运用一些策略来降低显存的负载，或者在不影响结果的情况下减少显存的使用。 以下是一些可能有效的策略： 1. 使用更小的批次大小。较小的批次大小可能会带来一些训练时间方面的影响，但结果是不会受到影响的。 2. 通过优化模型来减少显存的占用。这可以通过缩小模型大小或减少某些模型参数的数量来实现。 3. 在训练过程中减少不必要的计算。该策略可以减少显卡负载并提高训练速度。 4. 使用Google开源的TensorFlow框架的tf.data.Dataset API，使用Dataset.prefetch()方法预先载入好下一个batch的数据，减少I/O时间，可以减少显存的使用，增加训练速度。 总而言之，要在CUDA中解决“显存充足 CUDA Out of Memory”的问题，并非完全要求你增加显存，而是通过一些技巧性的策略来降低显存的占用和负荷。如果你还遇到了一些类似问题，可以参考上述策略来解决。 ### 回答3： 当我们在使用CUDA程序进行计算时，有时会遇到“CUDA out of memory”这样的错误提示，这通常表示显存不足。这种情况下，我们需要想办法解决显存不足的问题。 首先，可以考虑优化显存使用。我们可以尝试使用更小的batch size以减少显存的占用，或者使用更小的模型进行计算。还可以考虑使用更加高效的算法和数据结构，减少不必要的显存占用。 其次，我们可以考虑增加显存。这可以通过更换显卡、增加显存条或调整系统配置来实现。但我们需要注意的是，改变硬件配置可能会带来新的问题，而且显存的增加也并不总是能够解决问题。 此外，我们可以考虑使用多个GPU进行计算，从而增加可用的显存。这需要使用特定的深度学习框架和API，如Tensorflow、Pytorch、CUDA等。 最后，我们需要注意的是，在进行复杂的深度学习计算时，显存充足并不能完全保证不出现“CUDA out of memory”的错误。因此，我们需要对显存的使用进行合理规划和管理，以避免这种错误的出现，从而保证计算的正确性和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值