记录error：训练时出现RuntimeError: CUDA out of memory.及解决方法

最新推荐文章于 2024-08-19 09:42:59 发布
最新推荐文章于 2024-08-19 09:42:59 发布
阅读量1w 收藏 5
点赞数 1
分类专栏： 记录error 文章标签： 深度学习 机器学习 linux gpu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45486787/article/details/105461309
版权

具体错误如下：
RuntimeError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 15.78 GiB total capacity; 1.25…)（没复制全，尴尬）
且batch_size怎么改小都不行

经百度可能是GPU内存没有释放

我关闭终端重新打开后，问题就解决了，如果不行可以参考：
释放GPU内存的方法
或者百度释放GPU内存的方法

英语真好学呀
关注
专栏目录
RuntimeError: CUDA out of memory.
网易搬砖选手
04-10 1万+
我认为对于 GPU 内存较低的 PyTorch 用户来说，这是一个非常常见的消息：X MiB free;X cached)但似乎效果不是很大。虽然为清除占用的cuda内存提供了一个很好的选择，我们还可以通过使用手动清除未使用的变量，但在使用这些命令后，错误可能会再次出现，因为 pytorch 实际上并没有清除内存，而是清除了对变量占用的内存的引用。因此，重新启动内核后减小batch_size并找到最佳batch_size是最好的选择（但有时不是一个非常可行的选择）。其中，两个参数都是可选的。
Windows RuntimeError: CUDA out of memory.
qq_40630902的博客
08-16 2383
问题描述 RuntimeError: CUDA out of memory. Tried to allocate 244.00 MiB (GPU 0; 2.00 GiB total capacity; 1014.91 MiB already allocated; 0 bytes free; 1.19 GiB reserved in total by PyTorch) Windows 报错CUDA超出内存，但是GPU利用率为0 +----------------------------------------
解决RuntimeError: CUDA error: an illegal memory access was encountered问题
chenf1995的博客
02-11 1万+
用pytorch在多卡训练transformers的时候出现了以下问题： RuntimeError: CUDA error: an illegal memory access was encountered terminate called after throwing an instance of 'c10::Error' what(): CUDA error: an illegal memory access was encountered Exception raised from create
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 1.96 GiB total ...
weixin_35755823的博客
02-03 1万+
这是一个CUDA内存错误，代表GPU内存不足，无法分配12.00 MiB的内存。您可以尝试设置max_split_size_mb以避免内存碎片，以获得更多的内存。请参考PyTorch的内存管理文档以获得更多信息和PYTORCH_CUDA_ALLOC_CONF的配置。 ...
CUDA Out of Memory ：CUDA内存不足的完美解决方法
沉淀、分享、成长，让自己和他人都能有所收获！
08-17 1万+
CUDA Out of Memory 🛑：CUDA内存不足的完美解决方法摘要 📝引言 🌟什么是 CUDA Out of Memory 错误？🤔基本定义常见场景常见的CUDA内存不足场景及解决方案 🔍1. 模型过大导致显存不足2. 批量数据过大3. 显存没有释放4. 多线程或异步操作占用大量显存深入案例分析：如何避免和处理CUDA内存不足 🛠️1. 代码优化示例2. 累积梯度示例🤔 QA环节小结 📚表格总结 📊未来展望 🚀参考资料 📚博主 默语带您 Go to New World.✍个人主页——
(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.
weixin_41784510的博客
02-02 1476
在解决了alueError: Attempting to unscale FP16 gradients. 和 AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'. Did you mean: '_tokenize'?这两个bug后，在GPU0上运行时，不再有torch.OutOfMemoryError:CUDA out of Memory.报错。
RuntimeError: CUDA error: an illegal memory access was encountered
baidu_36639782的博客
04-19 1万+
使用pytorch进行文字识别时出现标题上的错误。 1、在训练前添加如下语句： torch.backends.cudnn.benchmark = True 没用 2、将 batch_size 从 64 改为 32。 没用 3、在训练前添加如下语句： torch.cuda.set_device(id) 我只有一个显卡，所以id=0，解析查看：https://di...
使用PEFT插入LoRA或DoRA模块方法以及解决’cuda out of memory’问题
weixin_70351416的博客
05-12 363
在我们定义好自己的模型以及LoRA配置后，使用函数将LoRA模块加入到model里面去。下面是我的使用的代码我将我模型里面含有关键字’qkv’的线性层加入DoRA但是由于模型改变后，key也改变了，导致以前的权重加不去，所以我打印出来对比以前保存的权重文件的key以及现在model的key。
RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU
weixin_43639369的博客
02-24 9874
RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU）1. 问题描述2. 解决办法 1. 问题描述 Pytorch，GPU显存明明够用，为什么还报错呢？发现此时减小batch_size 同样是没用的。 根本原因是代码指定的GPU与实际使用的GPU不一致。你以为代码在1上跑，实际上是在已经有代码运行的其他gpu跑，因此显示显存不足。 2. 解决办法 让自己指定的gpu与实际使用的对应一致即可。 比如，现在0，2，3号GPU已经在
RuntimeError: CUDA out of memory（已解决）
热门推荐
雷恩Layne
09-01 12万+
今天用pytorch训练神经网络时，出现如下错误： RuntimeError: CUDA out of memory. Tried to allocate 144.00 MiB (GPU 0; 2.00 GiB total capacity; 1.29 GiB already allocated; 79.00 MiB free; 1.30 GiB reserved in total by PyTorch) 明明 GPU 0 有2G容量，为什么只有 79M 可用？ 并且 1.30G已经被PyTorch占用了。
RuntimeError: CUDA error: an illegal memory access was encountered 解决思路
yyywxk的博客
09-09 9626
RuntimeError: CUDA error: an illegal memory access was encountered GPU负载
torch tensor调用detach时出现RuntimeError: CUDA error: an illegal memory access was encountered解决
最新发布
蓝羽飞鸟的博客
08-19 134
torch.tensor 遇到cuda 非法访问内存的解决方案
torch.cuda.OutOfMemoryError: CUDA out of memory.
m0_72572822的博客
09-26 3926
CUDA out of memory
解决：RuntimeError: CUDA out of memory. Tried to allocate 2.00 MiB
笼中鸟
10-07 1万+
方法一： 仅需减小batchsize 改文件的配置cfg的batchsize=4，一般在cfg文件下的查找batch或batchsize，将batchsize调小后，再次运行，类似于改下面 方法二 ： 上述方法还没解决，不改batchsize，可以考虑下面的方法的链接 不计算梯度： ps: 在报错的哪一行代码的上面，加上下面一行代码，不计算梯度 with torch.no_grad() 不计算梯度的方法 方法三： 释放内存：链接如下 释放内存 if hasattr(torch.
PytorchRuntimeError:CUDA out of memory.Tried to allocate 120.00 MiB (GPU 0； 22.38 GiB total capacity
凝眸伏笔的博客
11-06 3674
问题现场 环境：pytorch=1.+，python=3.6，1个GPU 当对预训练的bert模型进行fine-tuning，模型训练的batchsize设置为256时，报错。大概意思是GPU内存超了，总共22g(模型结构、参数等会占用5g内存)内存，16g的内存以及被分配出去了，剩下的78M，不够分配给120M了。 RuntimeError: CUDA out of memory. Tried to allocate 120.00 MiB (GPU 0; 22.38 GiB total capac
问题解决：CUDA error: an illegal memory access was encountered
2022
07-19 485
这个问题真的是非常烦人，在自己目前的项目里经常出现，而且报错位置不止一处，非常没有规律。所有关于模块（包括网络架构、数据集的数据和标签、损失函数）转移到CUDA上的语句从。
报错：CUDA out of memory
qq_37797234的博客
01-22 2455
报错： RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 2.00 GiB total capacity; 1.27 GiB already allocated; 3.24 MiB free; 135.27 MiB cached) 我查了一下发现电脑里面有两个显卡的，默认选择了intel的显卡（即是GPU 0...
CUDA error:out of memory
Arcobaleno
05-16 3万+
今天在运行程序的时候，一直跟我报这个错误，说我CUDA内存不足。调试了很久，最后发现竟然是这样····· 刚开始我怀疑是服务器上的显卡被人用了，但是当我mvidia-smi的时候发现3块GPU都没人用。。那这个问题显然是不可能了。那为何会这样呢？ 又有人说是TensorFlow和Pytorch的版本冲突。？？？我并没有搞到TensorFlow啊 最后参考了该帖子：http:...
RuntimeError: CUDA out of memory. Tried to allocate 100.00 MiB
02-02
当你在使用CUDA进行深度学习训练或推理时，可能会遇到"RuntimeError: CUDA out of memory"的错误。这个错误表示你的显存不足以分配所需的内存。 这个问题通常有以下几种解决方法： 1. 减少批量大小（batch size）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值