CUDA out of memory，但是显存明明有大量剩余

已于 2023-04-27 12:19:21 修改
阅读量3.1k 收藏 17
点赞数 1
文章标签： 深度学习 pytorch python
于 2023-04-27 12:18:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45788091/article/details/130403666
版权

CUDA out of memory，但是显存明明有大量剩余

报错信息

RuntimeError: CUDA out of memory. Tried to allocate 780.38 MiB(GPU 0；8.00 GiB total capacity； 149.91 MiB allocted；6.13 GiB free； 16.59 MiB cached)

可能是计算缓存CUDA_CACHE_MAXSIZE设置太小

pytorch默认计算缓存256MB，最大可设置为4GB，我设置成了2GB，就能运行了。
Windows设置：参考
linux设置：export CUDA_CACHE_MAXSIZE = 2147483648

weixin_45788091
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
tf 设置多显卡_深度学习模型训练时如何优化GPU显存？（附TF和Paddle优化方式）...
weixin_39885067的博客
11-21 927
关注&置顶“Charlotte数据挖掘”每日9:00，干货速递！不知道大家在训练深度学习模型时有没有遇见过这种情况：设置的batch_size明明不大，譬如32或者16，但是怎么一跑模型，GPU的显存就占满了呢？原来我使用Tensorflow的训练的时候发现是这样，后来我使用PaddlePaddle的时候也是这样，我以为是框架本身出了问题，但是仔细研究后才发现，其实这两种框架都是...
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
CUDA out of memory（然鹅明明还有空间）
联邦学习小白
09-16 1万+
模型跑完想再跑一遍的时候居然给我报“CUDA out of memory”，很明显，我的显卡虽然菜，但起码还是可以跑的，毕竟刚跑完，那就可能是python在运行完以后没有释放资源，导致GPU的内存满了。 如果是这样的话，那解决的方法就很简单了，直接把进程杀死就行。 首先在C:\Program Files\NVIDIA Corporation\NVSMI位置打开命令行，然后输入nvidia-smi（也可以用nvidia-smi.exe -l 1，每秒更新CUDA使用情况），显示当前gpu的使用情况如下： 显
Stable Diffusion CUDA out of memory. Tried to allocate 46.00 MiB. GPU 0 has a total capacty of 6.00
最新发布
Drizzle_66213的博客
05-28 435
重新启动后依旧报错，将参数设置为提示数值最小偶数，参数设置为set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:44，保存后重新启动，完美解决爆显存。参考以上文章，根据报错提示在webui-user.bat文件添加set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:46。
显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4079
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
如何释放GPU显存？CUDA out of memory 如何解决
michael_quan2013的博客
07-19 7314
但只能释放失活显存，即通过手动释放后，1中的例子显存占用率为1/10。调用 torch 的功能可以实现显存释放 torch.cuda.empty_cache()，(2) 如果又来个稍小的数据进行推理，推理时需占用。(1) 来一个数据并进行推理，推理结束后占用。释放掉并提供给其进行推理，推理结束后又产生。(3) 如果又来个稍大的数据进行推理，需要。失活内存，CUDA会把2G失活内存中的。内存供其推理，推理结束后共占用。失活内存，则此时的占用率仍是。失活内存，推理结束后仍占用。失活内存，此时占用率则为。
完美解決pytorch载入预训练权重时出现的CUDA error: out of memory
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
09-11 3433
今天小虎远程操纵工作站，想把昨晚练好的预训练模型迁移一下，发现跟往常不一样，nvidia的Cuda报错说出现超出内存的情况。
【释放GPU内存】OutOfMemoryError: CUDA out of memory
weixin_43941438的博客
05-26 8798
使用torch.cuda.empty_cache()方法来释放PyTorch的缓存，以释放一部分被PyTorch占用的GPU内存。这种情况可能是之前的训练占用了显存，没被释放。命令，可以查看到CUDA已经被快被占满。
问题 sr failed: CUDA out of memory. Tried to allocate 解决
qyhua的专栏
01-19 2471
问题 sr failed: CUDA out of memory. Tried to allocate 解决
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
01-01
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： ...
解决出现CUDA error-out of memory的问题.pdf
11-16
然而，在训练深度学习模型时，我们经常遇到“CUDA error: out of memory”这样的错误，这表明GPU的显存不足以运行当前的任务。本文将详细介绍这个问题的原因、影响以及解决方法。 ### 问题原因 1. **模型复杂度过...
运行novelAI cuda.OutOfMemoryError GPU内存不足 但是GPU内存有空间
ZnS_oscar的博客
11-03 7225
如果您有更多 VRAM，并且想要制作比通常更大的图像（例如，1024x1024 而不是 512x512），请使用。python launch.py --lowvram --always-batch-cond-uncond --opt-split-attention 成功运行。如果您有 4GB VRAM，并且想要制作 512x512（或最高 640x640）的图像，请使用。
运行pytorch 显存充足却显示OOM（out of memory）
m0_55499682的博客
07-27 3164
pytorch，显存不足
pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
热门推荐
xiyou__的博客
07-06 18万+
Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB 解决方法： 法一： 调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。 法二： 在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）： import torch, gc gc.collect() torch.cuda.empty_cache() 法三（常用方法）： 在测试阶段和验证阶段前插入代码 with torch.no_gr
Adding visible gpu devices: 0 每次运行到这里卡很久
我有明珠一颗的博客
07-04 8570
Step1. 设置环境变量：CUDA_CACHE_MAXSIZE=4294967296 Step2. 重启电脑 貌似之后就不会再有这种问题了
CUDA减少JIT开销的两种方式
ophunter的专栏
11-07 2383
之前测试的时候发现有时从Jenkins上拉下来的的megawise二进制包解压启动之后，执行第一条sql非常慢，需要1.5~3.5分钟不等。 后来docker化之后发现，docker中稳定必现第一条sql长时间卡住的问题。 当时查看日志发现总会卡在zdb_storage的一个MetaAgg的函数中，后来将这个函数注释掉，发现这个问题还是没有解决，会在engine中卡住。 百思不得其解之际，叶...
cuda out of memory
06-06
CUDA out of memory是指在使用CUDA进行计算时，显卡内存不足的错误。这种情况通常出现在需要处理大量数据或深度神经网络等需要大量显存的应用中。 要解决这个问题，有以下几种方法： 1. 减少每次传输的数据量：可以通过优化算法或者减少处理的数据量，使得需要的显存减少。减少每次传输的数据量可以提高整体的性能。 2. 调整batchsize：通常来说，batchsize越大，显存所需的空间就越大，而且每个GPU拥有的显存是有限的。因此，可以适当降低batchsize，提高计算性能，避免出现内存不足的情况。 3. 选择合适的显卡：如果需要处理的数据量过大，可以考虑升级或更换显卡，或者增加显卡的数量，以提供更大的显存空间来存储数据。 4. 释放不必要的显存：程序可能会占用显卡的不必要的显存，因此需要使用相应的函数（如cudaFree）来释放不必要的显存，从而减少CUDA out of memory问题的出现。 总之，CUDA out of memory问题需要结合实际应用情况，适当调整参数，以及使用最新的硬件资源，才能有效地避免出现该问题。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值