RuntimeError: CUDA out of memory. Tried to allocate XX.XX MiB. pytorch训练超出撑爆显存的问题

最新推荐文章于 2024-09-05 16:06:32 发布
最新推荐文章于 2024-09-05 16:06:32 发布
阅读量1.8k 收藏 9
点赞数 2
文章标签： pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54484261/article/details/115770179
版权
本文探讨了在PyTorch深度学习训练中遇到的CUDA内存溢出问题，包括batch_size设置过大导致的数据量增大，中间变量过多占用显存，以及未正确管理梯度导致的内存持续增长。提出了调整batch_size、减少中间变量、及时清理显存以及正确处理梯度的策略来避免‘CUDA out of memory’错误。
摘要由CSDN通过智能技术生成

1、batch_size设置过大

这种比较好理解，就是单卡batch_size设置大了，数据量就大了，显存可能就放不下了。不过一般batch_size也不宜设置过小，不然如果batch里含有噪声数据其占比就会较大，对模型训练影响就比较大，有时就会把模型训飞了（亲身经历）。

如果batch_size已经调的较小了还是爆了显存，可能就是别的问题了，接着往下看。

2、中间变量多。删除清显存

一般pytorch模型动态图是写在模型类forward函数里，可以理解为显存里主要放了forward函数里的各个变量和其定义的动态计算图。所以定义动态图的时候少写中间变量，能用一行代码解决就用一行。

还有用torch.cuda.empty_cache()在一个batch训练完及时释放内存，比如

del outputs, loss                    # 先删除
torch.cuda.empty_cache()             # 再释放

这条我试了下，作用有但没那么大，治标不治本。接着往下。

3、检查梯度

还有一部分占用显存

最低0.47元/天 解锁文章
nlp瞎搞工程师
关注
学习笔记40-Ubuntu下跑Aplaca报错：torch.cuda.0utofMemoryError: CUDA out of memory.解决办法（查看CUDA占用情况&清除GPU缓存）
LZL2020LZL的博客
04-21 6314
发现在执行程序时仅使用极少的内存（图片-1%），因此不是内存不足，考虑可能是缓存爆了！
RuntimeError: CUDA out of memory. Tried to allocate 1.77 GiB？如何解决
**My Coding Family**
05-27 1082
ok，以上就是我这期的Bug修复内容啦，如果还想查找更多解决方案，你可以看看我专门收集Bug及提供解决方案的专栏「Bug调优」，都是实战中碰到的Bug，希望对你有所帮助。到此，咱们下期拜拜。码字不易，如果这篇文章对你有所帮助，帮忙给bugj菌来个，您的支持就是我坚持写作分享知识点传播技术的最大动力。「猿圈奇妙屋」；
解决：RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 2.00 GiB total capacity； 1
地中海の养成记
01-31 6万+
1. 问题2. 分析3. 解决 1. 问题 训练模型时报错： RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 2.00 GiB total capacity; 1.49 GiB already allocated; 57.03 MiB free; 6.95 MiB cached) 2. 分析 这种问题，是GPU内存不够引起的 3. 解决 方法一： 换高性能高显存的显卡 方法二：修改代码 报错的训练代码为.
CUDA out of memory
最新发布
m0_61178500的博客
09-05 793
例如：resized_img = cv2.resize(img, (width // 2, height // 2))如果有些操作不需要在GPU上进行，你可以将部分操作切换到CPU，这样可以减轻GPU的压力。你的GPU显存不足以处理当前任务，特别是在调用。时，出现了内存分配失败的情况。你在多次运行过程中遇到该错误，可能是由于先前运行遗留的显存占用。其中，减少批量大小和输入图像尺寸，是最直接有效的方式。通过减小批量大小来降低每次迭代中占用的显存。缩小输入图像的分辨率以减小占用的内存。你遇到的错误是典型的。
解决方法：RuntimeError: CUDA out of memory. Tried to allocate ... MiB
qq_44504069的博客
05-11 1万+
RuntimeError: CUDA out of memory. Tried to allocate 978.00 MiB (GPU 0; 15.90 GiB total capacity; 14.22 GiB already allocated; 167.88 MiB free; 14.99 GiB reserved in total by PyTorch)
CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0； 6.00 GiB total capacity；总结（1）
qq_38148600的博客
09-04 3万+
CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0; 6.00 GiB total capacity; 4.54 GiB already allocated; 14.94 MiB free; 4.64 GiB reserved in total by PyTorch) 分析问题CUDA内存超载 解决尝试一：GPU未被调用， https://blog.csdn.net/xc_zhou/article/details/107737783 ..
RuntimeError: CUDA out of memory. Tried to allocate 48.00 MiB (GPU 0； 6.00 GiB total capacity； 1.99
qq_35831906的博客
11-08 3277
报错信息 "CUDA out of memory" 表明你的 PyTorch 代码尝试在 GPU 上分配的内存超过了可用量。这可能是因为 GPU 没有足够的内存来处理当前的操作或模型。如果你的模型或处理过程需要的内存超过当前 GPU 容量，可能需要考虑使用具有更多内存的 GPU 或使用提供更好资源的云服务。记得在适当的地方运行此代码段，特别是在你使用完特定张量或批次后，将内存释放回 GPU。考虑使用参数较少或规模较小的模型架构。另外，尝试优化模型，去除不必要的层或参数。较小的批处理大小将需要更少的内存。
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
RuntimeError: CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0； 2.00 GiB total capacity； 1.34
风口IT猪的成长录
08-04 5577
RuntimeError: CUDA out of memory.1. with torch.no_grad()2. os.environ["CUDA_VISIBLE_DEVICES"]3. torch.cuda.empty_cache()4. batch_size=1 1. with torch.no_grad() 注意pytorch在test时，一定要加上: with torch.no_grad(): outputs = Net_(inputs) ---错误代码的位置。 不计算梯度，否则会使显存加倍
RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU
weixin_43639369的博客
02-24 9995
RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU）1. 问题描述2. 解决办法 1. 问题描述 Pytorch，GPU显存明明够用，为什么还报错呢？发现此时减小batch_size 同样是没用的。 根本原因是代码指定的GPU与实际使用的GPU不一致。你以为代码在1上跑，实际上是在已经有代码运行的其他gpu跑，因此显示显存不足。 2. 解决办法 让自己指定的gpu与实际使用的对应一致即可。 比如，现在0，2，3号GPU已经在
解决：RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0； 4.00 GiB total capacity； 2
universe_R的博客
05-03 3万+
引发pytorch：CUDA out of memory错误的原因有两个： 1.当前要使用的GPU正在被占用，导致显存不足以运行你要运行的模型训练命令不能正常运行 解决方法： 1.换另外的GPU 2.kill 掉占用GPU的另外的程序（慎用！因为另外正在占用GPU的程序可能是别人在运行的程序，如果是自己的不重要的程序则可以kill） 命令行中输入以下命令，可以查看当前正在GPU运行的程序： nvidia-smi 再根据上面显示的正在运行程序的PID，输入以下查看进程的命令，可以查看到进程的相关信息，包括
【已解决】RuntimeError: CUDA out of memory. Tried to allocate 50.00 MiB (GPU 0； 4.00 GiB total capacity；
BetrayFree的博客
11-09 3830
主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘），而不锁页内存在主机内存不足时，数据会存放在虚拟内存中。显卡中的显存全部是锁页内存,当计算机的内存充足的时候，可以设置pin_memory=True。pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中的锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。
问题 sr failed: CUDA out of memory. Tried to allocate 解决
qyhua的专栏
01-19 2740
问题 sr failed: CUDA out of memory. Tried to allocate 解决
pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
热门推荐
xiyou__的博客
07-06 19万+
Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB 解决方法： 法一： 调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。 法二： 在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）： import torch, gc gc.collect() torch.cuda.empty_cache() 法三（常用方法）： 在测试阶段和验证阶段前插入代码 with torch.no_gr
解决：CUDA out of memory: Tried to allocate 12.11 GiB......
qq_39654162的博客
07-03 1235
解决：运行推理前：export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32。
OutOfMemoryError: CUDA out of memory.Tried to allocate 128.00 MiB.......却未占用显存，个人方法简单实用
xuanjiong的博客
03-03 2832
笔者的显存大小为6g,但没有占用gpu，猜测是显存过小导致的问题。笔者直接在命令行运行相关python文件，因此找到目标文件。在右下角添加quantize(4)，就保证代码的正常运行。
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 4.00 GiB total capacity； 2.44
华墨1024的博客
04-04 6万+
使用不计算梯度的方法解决RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.44 GiB already allocated; 0 bytes free; 2.45 GiB reserved in total by PyTorch)
解决：RuntimeError: CUDA out of memory. Tried to allocate 160.00 MiB (GPU 0； 10.76 GiB total capacity..
zcyzcyjava的博客
10-25 2万+
内存分配不足：需要160MB，，但GPU只剩下135.31MB，
【程序错误-显存不足】RuntimeError: CUDA out of memory. Tried to allocate 4.00 GiB
闪闪发光的博客
04-29 1861
使用更低精度的数据类型：将模型参数和激活值从32位浮点数（float32）转换为16位浮点数（float16），可以减少显存的使用。减少每次训练或推理时的批次大小，以降低显存的需求。较小的批次大小可能会增加训练时间，但可以减少显存压力。如果你使用的是大型模型，可以尝试减少模型的大小，以减少显存使用量。如果你有多个GPU可用，可以尝试使用多卡训练。这样可以将模型的不同部分分配到不同的GPU上，从而减少单个GPU上的显存需求。在报错的哪一行代码的上面，加上下面两行代码，释放无关的内存。
RuntimeError: CUDA out of memory. Tried to allocate 14.00 MiB
07-27
这个错误是由于CUDA内存不足导致的。根据引用\[1\]和引用\[2\]的信息，你的GPU总容量为4.00 GiB或10.76 GiB，但已经分配了2.34 GiB或1.82 GiB的内存，剩余的内存不足以分配14.00 MiB的内存。这可能是由于你的模型或数据的规模过大，导致内存不足。你可以尝试减小batch size或者使用更小的模型来减少内存的使用。另外，你还可以尝试设置max_split_size_mb参数来避免内存碎片化。关于内存管理和PYTORCH_CUDA_ALLOC_CONF的更多信息，请参考PyTorch的文档。 此外，根据引用\[3\]的信息，你还可以通过手动杀死占用GPU内存的进程来释放内存。你可以使用kill命令加上进程的PID来终止该进程，例如kill -9 31272。 综上所述，你可以通过减小batch size、使用更小的模型、设置max_split_size_mb参数或手动杀死占用内存的进程来解决CUDA内存不足的问题。 #### 引用[.reference_title] - *1* [已解决yolov5报错RuntimeError: CUDA out of memory. Tried to allocate 14.00 MiB](https://blog.csdn.net/Code_and516/article/details/129798540)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [解决RuntimeError: CUDA out of memory. Tried to allocate 14.00 MiB](https://blog.csdn.net/qq_43733107/article/details/126876755)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值