CUDA out of memory，但是显存明明有大量剩余

已于 2023-04-27 12:19:21 修改
阅读量3.1k 收藏 17
点赞数 1
文章标签： 深度学习 pytorch python
于 2023-04-27 12:18:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45788091/article/details/130403666
版权

CUDA out of memory，但是显存明明有大量剩余

报错信息

RuntimeError: CUDA out of memory. Tried to allocate 780.38 MiB(GPU 0；8.00 GiB total capacity； 149.91 MiB allocted；6.13 GiB free； 16.59 MiB cached)

可能是计算缓存CUDA_CACHE_MAXSIZE设置太小

pytorch默认计算缓存256MB，最大可设置为4GB，我设置成了2GB，就能运行了。
Windows设置：参考
linux设置：export CUDA_CACHE_MAXSIZE = 2147483648

weixin_45788091
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
tf 设置多显卡_深度学习模型训练时如何优化GPU显存？（附TF和Paddle优化方式）...
weixin_39885067的博客
11-21 928
关注&置顶“Charlotte数据挖掘”每日9:00，干货速递！不知道大家在训练深度学习模型时有没有遇见过这种情况：设置的batch_size明明不大，譬如32或者16，但是怎么一跑模型，GPU的显存就占满了呢？原来我使用Tensorflow的训练的时候发现是这样，后来我使用PaddlePaddle的时候也是这样，我以为是框架本身出了问题，但是仔细研究后才发现，其实这两种框架都是...
解决出现CUDA error-out of memory的问题.pdf
11-16
然而，在训练深度学习模型时，我们经常遇到“CUDA error: out of memory”这样的错误，这表明GPU的显存不足以运行当前的任务。本文将详细介绍这个问题的原因、影响以及解决方法。 ### 问题原因 1. **模型复杂度过...
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
CUDA out of memory（然鹅明明还有空间）
联邦学习小白
09-16 1万+
模型跑完想再跑一遍的时候居然给我报“CUDA out of memory”，很明显，我的显卡虽然菜，但起码还是可以跑的，毕竟刚跑完，那就可能是python在运行完以后没有释放资源，导致GPU的内存满了。 如果是这样的话，那解决的方法就很简单了，直接把进程杀死就行。 首先在C:\Program Files\NVIDIA Corporation\NVSMI位置打开命令行，然后输入nvidia-smi（也可以用nvidia-smi.exe -l 1，每秒更新CUDA使用情况），显示当前gpu的使用情况如下： 显
Stable Diffusion CUDA out of memory. Tried to allocate 46.00 MiB. GPU 0 has a total capacty of 6.00
最新发布
Drizzle_66213的博客
05-28 436
重新启动后依旧报错，将参数设置为提示数值最小偶数，参数设置为set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:44，保存后重新启动，完美解决爆显存。参考以上文章，根据报错提示在webui-user.bat文件添加set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:46。
显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4079
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
运行novelAI cuda.OutOfMemoryError GPU内存不足 但是GPU内存有空间
ZnS_oscar的博客
11-03 7225
如果您有更多 VRAM，并且想要制作比通常更大的图像（例如，1024x1024 而不是 512x512），请使用。python launch.py --lowvram --always-batch-cond-uncond --opt-split-attention 成功运行。如果您有 4GB VRAM，并且想要制作 512x512（或最高 640x640）的图像，请使用。
【已解决】探究CUDA out of memory背后原因，如何释放GPU显存？
热门推荐
FRIGIDWINTER的博客
04-11 6万+
本文探究CUDA的内存管理机制，总结RuntimeError: CUDA out of memory的背后原因，并给出解决方案
显卡显存充足，但是报错：CUDA error: out of memory
惊魂呓梦的博客
08-15 3632
显卡显存充足，但是报错：CUDA error: out of memory
如何释放GPU显存？CUDA out of memory 如何解决
michael_quan2013的博客
07-19 7321
但只能释放失活显存，即通过手动释放后，1中的例子显存占用率为1/10。调用 torch 的功能可以实现显存释放 torch.cuda.empty_cache()，(2) 如果又来个稍小的数据进行推理，推理时需占用。(1) 来一个数据并进行推理，推理结束后占用。释放掉并提供给其进行推理，推理结束后又产生。(3) 如果又来个稍大的数据进行推理，需要。失活内存，CUDA会把2G失活内存中的。内存供其推理，推理结束后共占用。失活内存，则此时的占用率仍是。失活内存，推理结束后仍占用。失活内存，此时占用率则为。
显存充足却提示out of memory(allocated memory try setting max_split_size_mb to avoid fragmentation)
睦生
10-28 5904
在训练模型的过程中，遇到如下问题：显存有一半以上的空间却仍然报out of memory的错误。本文总结网上的相关解决方案，由于这些方案对本问题均无效，本文经过实践提出了一种新的解决方法。
解决Pytorch 训练与测试时爆显存(out of memory)的问题
01-01
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： ...
CUDA-with-GLOBAL-MEM-ON-SOBEL.zip_CUDA图像滤波_cuda_memory
09-20
在实现Sobel边缘检测时，我们还需要考虑内存带宽的优化，比如使用共享内存（Shared Memory）来缓存局部数据，减少全局内存访问次数。另外，同步线程块内的线程以避免数据竞争，也是提高效率的关键。 总结来说，这个...
cuda memory access
11-21
CUDA 6.0引入了统一内存访问（Unified Memory Access，简称UMA），这一创新极大地简化了程序员在CPU和GPU之间管理内存的工作，使得开发者可以更加专注于算法和应用逻辑，而不是内存管理的细节。 在传统的CUDA编程中...
完美解決pytorch载入预训练权重时出现的CUDA error: out of memory
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
09-11 3433
今天小虎远程操纵工作站，想把昨晚练好的预训练模型迁移一下，发现跟往常不一样，nvidia的Cuda报错说出现超出内存的情况。
运行pytorch 显存充足却显示OOM（out of memory）
m0_55499682的博客
07-27 3165
pytorch，显存不足
cuda out of memory
06-06
CUDA out of memory是指在使用CUDA进行计算时，显卡内存不足的错误。这种情况通常出现在需要处理大量数据或深度神经网络等需要大量显存的应用中。 要解决这个问题，有以下几种方法： 1. 减少每次传输的数据量：可以通过优化算法或者减少处理的数据量，使得需要的显存减少。减少每次传输的数据量可以提高整体的性能。 2. 调整batchsize：通常来说，batchsize越大，显存所需的空间就越大，而且每个GPU拥有的显存是有限的。因此，可以适当降低batchsize，提高计算性能，避免出现内存不足的情况。 3. 选择合适的显卡：如果需要处理的数据量过大，可以考虑升级或更换显卡，或者增加显卡的数量，以提供更大的显存空间来存储数据。 4. 释放不必要的显存：程序可能会占用显卡的不必要的显存，因此需要使用相应的函数（如cudaFree）来释放不必要的显存，从而减少CUDA out of memory问题的出现。 总之，CUDA out of memory问题需要结合实际应用情况，适当调整参数，以及使用最新的硬件资源，才能有效地避免出现该问题。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值