RuntimeError: CUDA out of memory 解决办法

最新推荐文章于 2025-02-11 19:10:11 发布
最新推荐文章于 2025-02-11 19:10:11 发布
阅读量9.5k 收藏 34
点赞数 6
分类专栏： python基础 文章标签： GPU内存 梯度回传 DataParallel batch_size 内存释放
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wadewhl/article/details/123891113
版权

服务器的gpu内存不够，导致程序运行失败。
问题如下：

RuntimeError: CUDA out of memory. Tried to allocate 38.15 GiB (GPU 0; 31.75 GiB total capacity; 1.07 GiB already allocated; 26.18 GiB free; 3.45 GiB cached)

内存不够的解决办法：

1.不使用梯度方法

在test过程中，在dataloader循环前加入，

with torch
最低0.47元/天 解锁文章
RuntimeError: CUDA out of memory
ASS-ASH的博客
11-09 1814
训练神经网络时，出现如下错误： RuntimeError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0; 2.00 GiB total capacity; 1.29 GiB already allocated; 79.00 MiB free; 1.30 GiB reserved in total by PyTorch) 说明PyTorch占用的GPU空间没有释放 终端命令行输入 nvidia-smi显示GPU的使用情况以及占用GPU的
一文解决 RuntimeError: CUDA out of memory. 全网最全
m0_50502579的博客
07-29 9万+
RuntimeError: CUDA out of memory. Tried to allocate 50.00 MiB (GPU 0; 4.00 GiB total capacity; 682.90 MiB already allocated; 1.62 GiB free; 768.00 MiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to
pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
热门推荐
xiyou__的博客
07-06 20万+
Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB 解决方法： 法一： 调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。 法二： 在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）： import torch, gc gc.collect() torch.cuda.empty_cache() 法三（常用方法）： 在测试阶段和验证阶段前插入代码 with torch.no_gr
torch.OutOfMemoryError: CUDA out of memory. Tried to allocate 260.00 MiB. GPU 0 has a total capacity
最新发布
weixin_45866058的博客
02-11 1520
三、修改：修改 AutoModelForCausalLM.from_pretrained()函数的内置参数，并使用命令加载模型参数、数据到多GPU上。运行命令：“1，2，3”为GPU序数。
解决：RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 2.00 GiB total capacity； 1
地中海の养成记
01-31 6万+
1. 问题2. 分析3. 解决 1. 问题 训练模型时报错： RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 2.00 GiB total capacity; 1.49 GiB already allocated; 57.03 MiB free; 6.95 MiB cached) 2. 分析 这种问题，是GPU内存不够引起的 3. 解决 方法一： 换高性能高显存的显卡 方法二：修改代码 报错的训练代码为.
解决方法：RuntimeError: CUDA out of memory. Tried to allocate ... MiB
qq_44504069的博客
05-11 1万+
RuntimeError: CUDA out of memory. Tried to allocate 978.00 MiB (GPU 0; 15.90 GiB total capacity; 14.22 GiB already allocated; 167.88 MiB free; 14.99 GiB reserved in total by PyTorch)
解决：RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0； 4.00 GiB total capacity； 2
universe_R的博客
05-03 3万+
引发pytorch：CUDA out of memory错误的原因有两个： 1.当前要使用的GPU正在被占用，导致显存不足以运行你要运行的模型训练命令不能正常运行 解决方法： 1.换另外的GPU 2.kill 掉占用GPU的另外的程序（慎用！因为另外正在占用GPU的程序可能是别人在运行的程序，如果是自己的不重要的程序则可以kill） 命令行中输入以下命令，可以查看当前正在GPU运行的程序： nvidia-smi 再根据上面显示的正在运行程序的PID，输入以下查看进程的命令，可以查看到进程的相关信息，包括
【已解决】RuntimeError: CUDA out of memory. Tried to allocate 50.00 MiB (GPU 0； 4.00 GiB total capacity；
BetrayFree的博客
11-09 4588
主机中的内存，有两种存在方式，一是锁页，二是不锁页，锁页内存存放的内容在任何情况下都不会与主机的虚拟内存进行交换（注：虚拟内存就是硬盘），而不锁页内存在主机内存不足时，数据会存放在虚拟内存中。显卡中的显存全部是锁页内存,当计算机的内存充足的时候，可以设置pin_memory=True。pin_memory就是锁页内存，创建DataLoader时，设置pin_memory=True，则意味着生成的Tensor数据最开始是属于内存中的锁页内存，这样将内存的Tensor转义到GPU的显存就会更快一些。
【Pytorch】RuntimeError: CUDA out of memory 问题解决
你在说什么的博客
10-19 4万+
情况一： 显示free的内存足够，但是仍然报CUDA out of memory错误。 如（仅举例）：RuntimeError: CUDA out of memory. Tried to allocate 26.00 MiB (GPU 0; 10.73 GiB total capacity; 9.55 GiB already allocated; 199 MiB free; 19.44 MiB cached) 情况二： 报错 RuntimeError: cuDNN error: CUDNN_STATUS_I
RuntimeError: CUDA out of memory（已解决）
雷恩Layne
09-01 12万+
今天用pytorch训练神经网络时，出现如下错误： RuntimeError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0; 2.00 GiB total capacity; 1.29 GiB already allocated; 79.00 MiB free; 1.30 GiB reserved in total by PyTorch) 明明 GPU 0 有2G容量，为什么只有 79M 可用？ 并且 1.30G已经被PyTorch占用了。
【已解决】torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 250.00 MiB.
dont worry about it的博客
05-24 6万+
报错：torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 250.00 MiB.
RuntimeError: CUDA out of memory. Tried to allocate 48.00 MiB (GPU 0； 6.00 GiB total capacity； 1.99
qq_35831906的博客
11-08 3584
报错信息 "CUDA out of memory" 表明你的 PyTorch 代码尝试在 GPU 上分配的内存超过了可用量。这可能是因为 GPU 没有足够的内存来处理当前的操作或模型。如果你的模型或处理过程需要的内存超过当前 GPU 容量，可能需要考虑使用具有更多内存的 GPU 或使用提供更好资源的云服务。记得在适当的地方运行此代码段，特别是在你使用完特定张量或批次后，将内存释放回 GPU。考虑使用参数较少或规模较小的模型架构。另外，尝试优化模型，去除不必要的层或参数。较小的批处理大小将需要更少的内存。
CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0； 6.00 GiB total capacity；总结（1）
qq_38148600的博客
09-04 3万+
CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0; 6.00 GiB total capacity; 4.54 GiB already allocated; 14.94 MiB free; 4.64 GiB reserved in total by PyTorch) 分析问题CUDA内存超载 解决尝试一：GPU未被调用， https://blog.csdn.net/xc_zhou/article/details/107737783 ..
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 4.00 GiB total capacity； 2.44
华墨1024的博客
04-04 6万+
使用不计算梯度的方法解决RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.44 GiB already allocated; 0 bytes free; 2.45 GiB reserved in total by PyTorch)
解决：RuntimeError: CUDA out of memory. Tried to allocate 160.00 MiB (GPU 0； 10.76 GiB total capacity..
zcyzcyjava的博客
10-25 2万+
内存分配不足：需要160MB，，但GPU只剩下135.31MB，
RuntimeError: CUDA out of memory. Tried to allocate XX.XX MiB. pytorch训练超出撑爆显存的问题
m0_54484261的博客
04-16 1916
RuntimeError: CUDA out of memory. Tried to allocate XX.XX MiB. pytorch训练超出撑爆显存的问题 1、batch_size设置过大 这种比较好理解，就是单卡batch_size设置大了，数据量就大了，显存可能就放不下了。不过一般batch_size也不宜设置过小，不然如果batch里含有噪声数据其占比就会较大，对模型训练影响就比较大，有时就会把模型训飞了（亲身经历）。 如果batch_size已经调的较小了还是爆了显存，可能就是别的问题了，接
【程序错误-显存不足】RuntimeError: CUDA out of memory. Tried to allocate 4.00 GiB
闪闪发光的博客
04-29 2651
使用更低精度的数据类型：将模型参数和激活值从32位浮点数（float32）转换为16位浮点数（float16），可以减少显存的使用。减少每次训练或推理时的批次大小，以降低显存的需求。较小的批次大小可能会增加训练时间，但可以减少显存压力。如果你使用的是大型模型，可以尝试减少模型的大小，以减少显存使用量。如果你有多个GPU可用，可以尝试使用多卡训练。这样可以将模型的不同部分分配到不同的GPU上，从而减少单个GPU上的显存需求。在报错的哪一行代码的上面，加上下面两行代码，释放无关的内存。
RuntimeError: CUDA out of memory. Tried to allocate 模型训练 GPU 显存不够报错总结
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
04-12 1万+
RuntimeError: CUDA out of memory. Tried to allocate 1018.00 MiB (GPU 0; 7.79 GiB total capacity; 4.72 GiB already allocated; 853.50 MiB free; 1.52 GiB cached) 享受学术探讨的欢乐，传递温暖，希望能够帮助到刚刚入门的同学 文章目录具体报错简单分析训练时遇到测试时遇到
RuntimeError: CUDA out of memory 解决办法怎么清理GPU内存
05-15
"RuntimeError: CUDA out of memory" 错误通常是由于GPU内存不足导致的。以下是一些可能的解决办法： 1. 减少模型的batch size。 2. 减少模型的网络结构，例如使用更小的模型或者减少层数。 3. 使用更高效的算法或...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值