CUDA out of memory

最新推荐文章于 2024-05-26 12:05:39 发布
最新推荐文章于 2024-05-26 12:05:39 发布
阅读量7.4k 收藏 5
点赞数 1
分类专栏： bug 文章标签： 深度学习 pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38335768/article/details/122191778
版权

RuntimeError: CUDA out of memory. Tried to allocate 4.35 GiB (GPU 0; 7.80 GiB total capacity; 4.37 GiB already allocated; 1.93 GiB free; 4.63 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
在这里插入图片描述
不知原因
且运行代码在cpu上可正常运行，只是慢了点，在gpu上报错：CUDA out of memory

试了几个方法
1、torch.cuda.empty_cache()
没用
2、是否模型太大
确定模型加载完成后，代码才开始崩溃

3、是否数据太大
先放30个图片，崩溃
10个，可正常运行
20个，正常运行

原因，数据以及数据的处理在gpu上负担不了

小tricks：

import time
t1=<
最低0.47元/天 解锁文章
木琦
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
解决出现CUDA error-out of memory的问题.pdf
11-16
解决CUDA error_out of memory的问题
大模型训练中CUDA out of memory的几种解决方法
最新发布
smartcat2010的博客
05-26 962
2. 如果需要较大的batch size来达到预期训练指标效果，则使用gradient accumulation来累积梯度，达到等价效果的同时，占用显存小；6. 缓解PyTorch的显存碎片；PYTORCH_CUDA_ALLOC_CONF和max_split_size_mb。3. 使用低精度做训练。torch.cuda.empty_cache()10. 使用nvidia-smi看到该GPU上的其他进程；9. Model并行或者Pipeline并行，把模型拆分至多卡。4. 减小训练数据样本的长度。
解决：RuntimeError: CUDA out of memory.
ln01010的博客
07-22 2224
利用pytorchGPU训练深度模型时出现RuntimeError:CUDA out of memory问题解决方案
CUDA ~ RuntimeError: CUDA Out of memory解决
whaosoft143ai的博客
05-30 1749
一些可以尝试的解决“RuntimeError: CUDA Out of memory”的方案。在这些选项中，如果你使用的是预训练模型，则最容易和最有可能解决问题的选项是第一个。 whaosoft aiot http://143ai.com 因此，如果你在不将梯度归零的情况下进行 2 个半批次的训练，它们的梯度回累积，最终得到以目标有效批次大小相同的梯度。在训练循环中，我们需要使用计数器根据小batchsize大小进行更新，一旦它达到预设的目标，那就是我们将梯度归零时。在那之前，他们只是通过loss.back
CUDA out of memory（然鹅明明还有空间）
联邦学习小白
09-16 1万+
模型跑完想再跑一遍的时候居然给我报“CUDA out of memory”，很明显，我的显卡虽然菜，但起码还是可以跑的，毕竟刚跑完，那就可能是python在运行完以后没有释放资源，导致GPU的内存满了。 如果是这样的话，那解决的方法就很简单了，直接把进程杀死就行。 首先在C:\Program Files\NVIDIA Corporation\NVSMI位置打开命令行，然后输入nvidia-smi（也可以用nvidia-smi.exe -l 1，每秒更新CUDA使用情况），显示当前gpu的使用情况如下： 显
问题解决 |关于CUDA的代码错误总结以及解决方法
weixin_44649780的博客
06-26 1万+
本博客主要关于常见的CUDA的代码错误总结以及解决方法~
RuntimeError: CUDA out of memory. 已解决
Sea__c的博客
01-11 2123
RuntimeError: CUDA out of memory. 已解决
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
在使用PyTorch进行深度学习模型的训练和测试过程中，可能会遇到“显存溢出”（Out of Memory，OOM）的问题。这个问题通常是由于GPU内存不足以存储所有计算所需的张量而导致的。以下是一些解决PyTorch训练与测试时...
CUDA out of memory的一种神奇解决方法
jasminefeng的博客
02-24 4138
我的输入样本维度是(1000,12,24,72)，一开始我是这么输入数据的： trainer.train(x_train, t_train, x_val, t_val) 发现必溢出，后来我取出其中400个样本输入： trainer.train(x_train[:400], t_train[:400], x_val, t_val) 发现不溢出了，训练正常，然后我把400删掉，但没删冒号： trainer.train(x_train[:], t_train[:], x_val, t_val) 竟然也没有溢
解决运行出现CUDA error:out of memory的问题
qq_30653631的博客
07-04 3万+
模型运行出现以下问题，经过查找资料发现解决方案如下： CUDA_VISIBLE_DEVICES限制一下使用的GPU。 比如有0,1,2,3号GPU，CUDA_VISIBLE_DEVICES=2,3，则当前进程的可见GPU只有物理上的2、3号GPU，此时它们的编号也对应变成了0、1，即cuda:0对应2号GPU，cuda:1对应3号GPU。 如何设置CUDA_VISIBLE_DEVICES: ① 使用python的os模块 import os os.environ[‘CUDA_VISIBLE_DEVICES
一文读懂 PyTorch 显存管理机制
zandaoguang的博客
04-08 3916
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨米阿罗@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/486360176编辑丨极市平台首发于踢翻炼丹炉：https://www.zhihu.com/column/c_1320691511223136256二次转载须经作者授权导读本文细致的对PyTorch 显存管理机...
解决报错CUDA error：out of memory。CUDA kernel errors might be asynchronously reported at some other API
长路漫漫亦灿灿
03-29 5022
在服务器上运行程序，遇到报错：CUDA error：out of memory。CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.报错原因： 我在另一个显卡的程序B占用了目前显卡的显存，导致运行程序A显存不够。解决方法：停止程序B后，再次运行程序A，就可以正常运行。
torch.cuda.OutOfMemoryError: CUDA out of memory.
热门推荐
Hello_World1023的博客
04-25 4万+
发现gpu:0显存被PID:19409程序大量占用, 报错应该是默认在gpu:0训练导致显存不足, 接着查看gpu:0上程序所属用户(如果不是师兄的我就kill了)设置完成后查看显存占用情况可以看到, gpu:1显存占用马上上升了, 不影响其他gpu卡的显存。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。发现gpu:1空闲, 指定gpu:1上训练模型, 有多种方法,
爆显存：RuntimeError: CUDA out of memory. Tried to allocate 5.66 GiB (GPU 0； 12.00 GiB total capacity； 2
Python领域优质萌新创作者
06-13 3522
使用更低精度的数据类型：将模型参数和激活值从32位浮点数（float32）转换为16位浮点数（float16），可以减少显存的使用。你的GPU有12.00 GiB的总容量，但已经有2.88 GiB的显存被使用了，剩余1.68 GiB是可用的，而PyTorch总共预留了8.22 GiB的显存。2、减少模型大小：如果你使用的是大型模型，可以尝试减少模型的大小，以减少显存使用量。较小的批次大小可能会增加训练时间，但可以减少显存压力。这样可以将模型的不同部分分配到不同的GPU上，从而减少单个GPU上的显存需求。
解决方法：RuntimeError: CUDA out of memory. Tried to allocate ... MiB
qq_44504069的博客
05-11 1万+
RuntimeError: CUDA out of memory. Tried to allocate 978.00 MiB (GPU 0; 15.90 GiB total capacity; 14.22 GiB already allocated; 167.88 MiB free; 14.99 GiB reserved in total by PyTorch)
【释放GPU内存】OutOfMemoryError: CUDA out of memory
weixin_43941438的博客
05-26 8733
使用torch.cuda.empty_cache()方法来释放PyTorch的缓存，以释放一部分被PyTorch占用的GPU内存。这种情况可能是之前的训练占用了显存，没被释放。命令，可以查看到CUDA已经被快被占满。
CUDA out of memory
12-19
当你在使用CUDA进行计算时，有时会遇到"CUDA out of memory"的错误。这意味着你的GPU内存不足以执行所需的操作。解决这个问题的方法有几种： 1. 减少批处理大小：减少每个批次中的样本数量，以减少GPU内存的使用量。 2. 减少模型的大小：减少模型的参数数量，可以通过减少层数、减少每层的神经元数量或使用更小的数据类型来实现。 3. 使用更小的输入尺寸：如果可能的话，可以将输入图像或数据的尺寸缩小，以减少GPU内存的使用量。 4. 使用分布式训练：将训练任务分布到多个GPU上，每个GPU只负责处理部分数据，从而减少每个GPU的内存使用量。 5. 清理GPU内存：在每个训练迭代之后，可以使用`torch.cuda.empty_cache()`函数清理GPU内存。 6. 使用CPU进行部分计算：对于一些简单的计算任务，可以将其转移到CPU上执行，从而减少GPU内存的使用量。 7. 使用更高容量的GPU：如果你的任务需要更多的内存，可以考虑使用具有更高内存容量的GPU。 请注意，这些解决方案可能需要根据你的具体情况进行调整和尝试。根据你的代码和数据的特点，可能需要采取不同的方法来解决"CUDA out of memory"的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值