显存充足，但提示CUDA out of memory

最新推荐文章于 2024-02-21 07:55:16 发布
最新推荐文章于 2024-02-21 07:55:16 发布
阅读量6.8k 收藏 7
点赞数 3
分类专栏： python(pytorch为主) 文章标签： python 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YasmineC/article/details/119653542
版权

详细错误如下：

RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch)

认真阅读这个错误后，就去查看了GPU 1，发现显存充足：
在这里插入图片描述

但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉后，再nvidia-smi，这时显示的已经是程序退出时的结果了，但我在程序运行的时候，再查看，发现：
在这里插入图片描述
这里显示的才是运行过程中某个时间点的显存

不过最后尝试把batch_size不断调小，调到10，仍然不行，猜想是数据集太庞大，可能要试试使用from horovod.torch import hvd了，明天试试~

反科研pua所所长
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
CUDA out of memory.(已解决）
热门推荐
weixin_43398590的博客
04-08 15万+
CUDA out of memory.(已解决） 有时候我们会遇到明明显存够用却显示CUDA out of memory，这时我们就要看看是什么进程占用了我们的GPU。 按住键盘上的Windows小旗子+R在弹出的框里输入cmd，进入控制台。 nvidia-smi 这个命令可以查看GPU的使用情况，和占用GPU资源的程序。我们看到python再运行完以后没有释放资源导致GPU的内存满了。 可以...
解决RuntimeError: CUDA error: out of memory
最新发布
CSDN 精品推荐
02-21 550
显卡被占用：当存在多个显卡时，默认使用 0 号显卡。即使 1 号显卡空闲，但如果 0 号显卡被占用，仍然会导致报错。在使用 PyTorch 中加载模型时，出现 CUDA 错误: out of memory。根据具体情况，采取上述解决办法中的一种或多种来解决 CUDA 错误: out of memory 问题。解决办法：可以让其他显卡不可见，从而使 0 号显卡变为空余的 1 号显卡。CUDA 显存不足：可能是因为当前显卡显存不足。解决办法：考虑更换显存更大的显卡。
显存充足，pytorch却报错CUDA out of memory？(已解决)
weixin_45914748的博客
11-25 9888
明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。
python运行提示显卡内存不足_Pytorch GPU显存充足却显示out of memory的解决方式
weixin_39890327的博客
12-08 1万+
Pytorch GPU显存充足却显示out of memory的解决方式今天在测试一个pytorch代码的时候显示显存不足，但是这个网络框架明明很简单，用CPU跑起来都没有问题，GPU却一直提示out of memory.在网上找了很多方法都行不通，最后我想也许是pytorch版本的问题，原来我的pytorch版本是0.4.1，于是我就把这个版本卸载，然后安装了pytorch1.1.0，程序就可以...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
今天小编就为大家分享一篇解决Pytorch 训练与测试时爆显存(out of memory)的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
椰子奶糖的博客
02-03 2万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
CUDA out of memory，但是显存明明有大量剩余
weixin_45788091的博客
04-27 2878
CUDA out of memory，但是显存明明有大量剩余。
【已解决】探究CUDA out of memory背后原因，如何释放GPU显存？
FRIGIDWINTER的博客
04-11 5万+
本文探究CUDA的内存管理机制，总结RuntimeError: CUDA out of memory的背后原因，并给出解决方案
CUDA out of memory 解决办法
qq_42925267的博客
01-26 4万+
CUDA @TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行
显卡显存充足，但是报错：CUDA error: out of memory
惊魂呓梦的博客
08-15 3132
显卡显存充足，但是报错：CUDA error: out of memory
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4043
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
Pytorch：测试保存训练模型时，显存充足，却提示cuda out of memory的问题
qq_45656271的博客
05-26 2817
在训练网络结束后，测试训练模型，明明显存还很充足，却提示我cuda out of memory 出现这种问题，有可能是指定GPU时出错（注意指定空闲的GPU），在排除这种情况以后，通过网上查找，说有可能是测试时的环境与训练时的环境不一样所导致，例如在网络训练时所使用的pytorch版本和测试时所使用的版本不同。由于我训练和测试用的同一虚拟环境，故排除这种情况。 还有一种说法，是因为pytorch的版本和cuda的版本不匹配所导致，经检查，也不是这方面的问题。 最后发现，在加载模型的时候，原代码为
解决运行出现CUDA error:out of memory的问题
qq_30653631的博客
07-04 3万+
模型运行出现以下问题，经过查找资料发现解决方案如下： CUDA_VISIBLE_DEVICES限制一下使用的GPU。 比如有0,1,2,3号GPU，CUDA_VISIBLE_DEVICES=2,3，则当前进程的可见GPU只有物理上的2、3号GPU，此时它们的编号也对应变成了0、1，即cuda:0对应2号GPU，cuda:1对应3号GPU。 如何设置CUDA_VISIBLE_DEVICES: ① 使用python的os模块 import os os.environ[‘CUDA_VISIBLE_DEVICES
YOLOX训练：显存足够，但依旧CUDA out of memory（Tried to allocate 5.58 GiB，8.00 GiB total capacity，6.40 GiB free）
ELSA001的博客
10-20 1万+
刚刚我尝试训练自己的yolox_s模型，但我batch_size不管改成多少，甚至改成1，都直接报CUDA out of memory，我很苦恼，这里明明显示我的显存是足够的，但是依旧OOM。 训练命令如下： (mypytorch) E:\YOLOX>python tools/train.py -f exps/example/yolox_voc/yolox_voc_s_bm.py -d 1 -b 2 --fp16 -o -c weights/yolox_s.pth 我在这里加载了GitHub的预训练
cuda out of memory（pytorch）问题的解决
张壮壮的博客
03-03 1万+
最近在训练网络，发现无法使用GPU，一直报错cuda out of memory.查阅了网上很多方法，记录一下我的解决过程。 可能原因及解决方法 （一） 原因：大量其他进程占用了GPU 解决：kill占用GPU的进程，释放GPU 参考博文：链接 （二） 原因：batch_size过大 解决：将batch_size调小一点，再次测试看能否运行。 （三） 原因：不知道这个怎么描述，没有用到所有的GPU？ 解决：在代码中添加os.environ['CUDA_VISIBLE_DEVICES']="0, 1"，这个序
显存充足却提示out of memory(allocated memory try setting max_split_size_mb to avoid fragmentation)
睦生
10-28 3997
在训练模型的过程中，遇到如下问题：显存有一半以上的空间却仍然报out of memory的错误。本文总结网上的相关解决方案，由于这些方案对本问题均无效，本文经过实践提出了一种新的解决方法。
显存充足cuda out of memory
06-28
### 回答1： 当你在使用CUDA进行计算时，如果你的显存充足，那么就不会出现"CUDA out of memory"的错误。这个错误通常出现在你的显存不足以容纳你需要运算的数据时。为了解决这个问题，你可以考虑使用更大的显卡或者减少你的数据量。此外，你还可以尝试使用分批次处理的方法，将数据分成多个小批次进行运算，以减少显存的压力。 ### 回答2： “显存充足 cuda out of memory”的意思是指，在使用CUDA进行计算时，由于数据量过大或计算任务过于复杂使得显存空间不足，导致程序无法正常运行的现象。这一问题通常会影响许多需要使用GPU进行深度学习、图像处理等计算的应用程序。 要解决这个问题，首先需要确保你的显卡的显存足够。如果显存确实不足，那么仅仅扩大显存是不能解决问题的。解决此问题的关键解决办法是运用一些策略来降低显存的负载，或者在不影响结果的情况下减少显存的使用。 以下是一些可能有效的策略： 1. 使用更小的批次大小。较小的批次大小可能会带来一些训练时间方面的影响，但结果是不会受到影响的。 2. 通过优化模型来减少显存的占用。这可以通过缩小模型大小或减少某些模型参数的数量来实现。 3. 在训练过程中减少不必要的计算。该策略可以减少显卡负载并提高训练速度。 4. 使用Google开源的TensorFlow框架的tf.data.Dataset API，使用Dataset.prefetch()方法预先载入好下一个batch的数据，减少I/O时间，可以减少显存的使用，增加训练速度。 总而言之，要在CUDA中解决“显存充足 CUDA Out of Memory”的问题，并非完全要求你增加显存，而是通过一些技巧性的策略来降低显存的占用和负荷。如果你还遇到了一些类似问题，可以参考上述策略来解决。 ### 回答3： 当我们在使用CUDA程序进行计算时，有时会遇到“CUDA out of memory”这样的错误提示，这通常表示显存不足。这种情况下，我们需要想办法解决显存不足的问题。 首先，可以考虑优化显存使用。我们可以尝试使用更小的batch size以减少显存的占用，或者使用更小的模型进行计算。还可以考虑使用更加高效的算法和数据结构，减少不必要的显存占用。 其次，我们可以考虑增加显存。这可以通过更换显卡、增加显存条或调整系统配置来实现。但我们需要注意的是，改变硬件配置可能会带来新的问题，而且显存的增加也并不总是能够解决问题。 此外，我们可以考虑使用多个GPU进行计算，从而增加可用的显存。这需要使用特定的深度学习框架和API，如Tensorflow、Pytorch、CUDA等。 最后，我们需要注意的是，在进行复杂的深度学习计算时，显存充足并不能完全保证不出现“CUDA out of memory”的错误。因此，我们需要对显存的使用进行合理规划和管理，以避免这种错误的出现，从而保证计算的正确性和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值