显存充足 RuntimeError: CUDA error: out of memory

最新推荐文章于 2024-08-08 03:12:58 发布
最新推荐文章于 2024-08-08 03:12:58 发布
阅读量4.1k 收藏 5
点赞数 4
分类专栏： Python 文章标签： 深度学习 debug cuda Pytorch out of memory
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36937684/article/details/109514832
版权

在这里插入图片描述
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。

我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory
首先nvidia-smi，发现0卡显存充足。

然后查看之前的日志，发现打印的变量在1卡上。
如果
这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。
修改测试代码即可，将

checkpoint = torch.load(self.test_model)

改为

checkpoint = torch
最低0.47元/天 解锁文章
AsajuHuishi
关注
专栏目录
显存充足，pytorch却报错CUDA out of memory？(已解决)
weixin_45914748的博客
11-25 1万+
明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。
RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU
weixin_43639369的博客
02-24 9883
RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU）1. 问题描述2. 解决办法 1. 问题描述 Pytorch，GPU显存明明够用，为什么还报错呢？发现此时减小batch_size 同样是没用的。 根本原因是代码指定的GPU与实际使用的GPU不一致。你以为代码在1上跑，实际上是在已经有代码运行的其他gpu跑，因此显示显存不足。 2. 解决办法 让自己指定的gpu与实际使用的对应一致即可。 比如，现在0，2，3号GPU已经在
CUDA ~ RuntimeError: CUDA Out of memory解决
最新发布
weixin_41282923的博客
08-08 71
一些可以尝试的解决“RuntimeError: CUDA Out of memory”的方案。当遇到这个问题时，你可以尝试一下这些建议，按代码更改的顺序递增：减少“batch_size”降低精度按照错误说的做清除缓存修改模型/训练在这些选项中，如果你使用的是预训练模型，则最容易和最有可能解决问题的选项是第一个。修改batc...
Pytorch显存充足出现CUDA error:out of memory错误
Hungry_Shell的博客
08-17 9512
Pytorch显存充足出现CUDA error:out of memory错误 Ref: https://www.cnblogs.com/jisongxie/p/10276742.html 报错内容 ![image.png](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAyMC9wbmcvNjAyMzUwLzE1OTc2NTM0ODcxMzktNDQ5N2JmZDItMzBhYi00NzMzLTg2ZD
显卡显存充足，但是报错：CUDA error: out of memory
惊魂呓梦的博客
08-15 4106
显卡显存充足，但是报错：CUDA error: out of memory
显卡内存足够但是torch报错RuntimeError: CUDA out of memory
weixin_43870546的博客
09-16 1398
1、刚开始我以为是batch_size设置问题导致内存溢出，但是仔细观察发现空闲内存大于需要使用的内存, 解决办法 卸载torch 当前torch 版本为1.6.0 torchvision版本为0.7.0 回退到 torch 1.2.0 torchvision 0.4.0 问题解决 ...
YOLOX训练：显存足够，但依旧CUDA out of memory（Tried to allocate 5.58 GiB，8.00 GiB total capacity，6.40 GiB free）
ELSA001的博客
10-20 1万+
刚刚我尝试训练自己的yolox_s模型，但我batch_size不管改成多少，甚至改成1，都直接报CUDA out of memory，我很苦恼，这里明明显示我的显存是足够的，但是依旧OOM。 训练命令如下： (mypytorch) E:\YOLOX>python tools/train.py -f exps/example/yolox_voc/yolox_voc_s_bm.py -d 1 -b 2 --fp16 -o -c weights/yolox_s.pth 我在这里加载了GitHub的预训练
显存充足，但提示CUDA out of memory
YasmineC的博客
08-12 7259
详细错误如下： RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch) 认真阅读这个错误后，就去查看了GPU 1，发现显存充足： 但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
【yolo系列：运行报错RuntimeError: CUDA error: an illegal memory access was encountered CUDA kernel errors m】
weixin_47869094的博客
09-06 4792
使用yolov7训练数据集，但是训练到一半就开始停止了并且报错。
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Windows RuntimeError: CUDA out of memory.
qq_40630902的博客
08-16 2383
问题描述 RuntimeError: CUDA out of memory. Tried to allocate 244.00 MiB (GPU 0; 2.00 GiB total capacity; 1014.91 MiB already allocated; 0 bytes free; 1.19 GiB reserved in total by PyTorch) Windows 报错CUDA超出内存，但是GPU利用率为0 +----------------------------------------
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
热门推荐
椰子奶糖的博客
02-03 3万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
显存充足，但出现CUDA error:out of memory的错误解决
aaazym的博客
11-23 738
试了网上的一些方法都仍然报这个错误，后来试着把config里的data_num_workers从4改成了0，就可以运行了。我暂时也还不知道是什么原因，之前设置为4的时候是可以跑通的，今天再运行就出错了。
显存充足，但是却出现CUDA error:out of memory错误
dengxuan21210547的博客
01-16 5972
之前一开始以为是cuda和cudnn安装错误导致的，所以重装了，但是后来发现重装也出错了。 后来重装后的用了一会也出现了问题。确定其实是Tensorflow和pytorch冲突导致的，因为我发现当我同学在0号GPU上运行程序我就会出问题。 详见pytorch官方论坛： https://discuss.pytorch.org/t/gpu-is-not-utilized-whil...
记一次显存充足报CUDA out of memory 的错误
一直大萝北的萝北坑
08-23 889
显存充足 CUDA out of memory
显存充足但是CUDA out of Memory报错解决_查看僵尸进程
qq_40349484的博客
09-13 5456
显存充足但是CUDA out of Memory报错解决_查看僵尸进程
Pytorch：测试保存训练模型时，显存充足，却提示cuda out of memory的问题
qq_45656271的博客
05-26 2976
在训练网络结束后，测试训练模型，明明显存还很充足，却提示我cuda out of memory 出现这种问题，有可能是指定GPU时出错（注意指定空闲的GPU），在排除这种情况以后，通过网上查找，说有可能是测试时的环境与训练时的环境不一样所导致，例如在网络训练时所使用的pytorch版本和测试时所使用的版本不同。由于我训练和测试用的同一虚拟环境，故排除这种情况。 还有一种说法，是因为pytorch的版本和cuda的版本不匹配所导致，经检查，也不是这方面的问题。 最后发现，在加载模型的时候，原代码为
RuntimeError: CUDA error: out of memory Killing subprocess 1518087
09-22
RuntimeError: CUDA out of memory错误是由于GPU显存不足导致的。为了解决这个问题，可以尝试以下几个方法： 1. 将batch_size改小：减少每个batch中的样本数量，以减少GPU显存的使用量。 2. 使用item()属性获取torch变量的标量值：在需要获取变量的标量值时，使用item()属性而不是直接输出变量，这样可以释放不必要的显存。 3. 在测试阶段添加代码进行内存管理：可以在测试阶段使用torch.cuda.empty_cache()，它可以清空GPU显存中的缓存，提供更多的可用内存。 此外，我注意到你提到了引用和引用中的一些代码片段，但是这些代码片段与你提出的问题似乎没有直接的关系。你可以提供更多的上下文信息，以便我能够更好地回答你的问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值