学习笔记40-Ubuntu下跑Aplaca报错：torch.cuda.0utofMemoryError: CUDA out of memory.解决办法（查看CUDA占用情况&清除GPU缓存）

已于 2024-04-08 09:11:59 修改
阅读量6.2k 收藏 16
点赞数 7
分类专栏： 算法实战 文章标签： ubuntu 缓存 pytorch
于 2023-04-21 08:01:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LZL2020LZL/article/details/130270895
版权
当在Ubuntu环境下运行PyTorch时遇到CUDA内存不足的问题，错误提示torch.cuda.0utofMemoryError，实际并非内存容量不够，而是GPU缓存爆满。通过检查发现，程序只占用了极少量的内存，而某个进程（如aplaca）占用了大量GPU显存。解决方法是终止该进程，然后重新执行程序，观察GPU使用率从1%升至95%，问题得到解决。
摘要由CSDN通过智能技术生成

缓存不够！！！！并非内存容量不够

错误提示： torch.cuda.0utofMemoryError: CUDA out of memory.Tried to allocate 2.00 MiB (PU 0; 23.69 GiB total capacity; 237 BiB already allocated; 18.38 MiB fre; 2.50 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
在这里插入图片描述
通过查资料，说内存不够用，换个好显卡，可但是通过运行指示nvidia-smi发现在执行程序时仅使用极少的内存（图片-1%），因此不是内存不足，考虑可能是缓存爆了！

了解本专栏 订阅专栏 解锁全文 超级会员免费看
李卓璐
关注
专栏目录
订阅专栏
成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0； 2.00 GiB to
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-02 1万+
​ 成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0; 2.00 GiB total capacity; 1.67 GiB already allocated; 0 bytes free; 1.67 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_s
37、测试Yolox+TensorRT && Yolox+NCNN &&Yolox+Tengine
sxj731533730
07-19 3903
基本思想：之前很多项目都是基于TensorRT部署nano，今天顺手记录一下tengine部署nano吧~ 分了四步走：先进行mingw32的交叉编译，以运行在clion上，官方似乎没有提供window10+mingw32的教程，并进行验证 ：https://tengine-docs.readthedocs.io/zh_CN/latest/index.html 进行nano的tensorRT部署，...
torch.cuda.OutOfMemoryError: CUDA out of memory.
m0_67630925的博客
08-30 1275
3.修改代码，把一些没那么重要的任务交给cpu去做。需要修改代码中的.to(device)和.cuda()，把他们.cpu()去吧，注意要把需要放在一起处理的数据放在同意设备上（cpu或cuda）。2.显存占用大的任务一般都是处理图像数据。将图像降采样试试，可以试试将图像尺寸调整到（128，128，128）或者更小，如果是深度学习的话记得调整模型的输入通道。1.把batch调小一点，可以直接尝试将batch调到2。5.换张显存大的显卡吧，别为难你的小显卡了。4.租个服务器，把任务放到服务器上面跑。
停止训练后报错torch.cuda.OutOfMemoryError: CUDA out of memory. 及查看进程和停止进程
最新发布
KIKI3666的博客
10-09 1125
在不同的操作系统中，查看进程的方法有所不同。
【debug日记】torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 96.00 MiB (GPU 0； 23.70
iloveyouqri的博客
08-11 446
(2) 可以在代码运行前shell或bash脚本中加。实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。(1) 可以在py代码开头（一定要在开头）加。(3)在程序中使用set_device()指定到空闲的显卡进行训练。具体解决方法可以查看。选择GUP空闲的显卡。
Pycharm报错torch.cuda.OutOfMemoryError: CUDA out of memory.
Lu0v0Lu的博客
05-29 4195
做深度学习相关的实验，可以看到我的显卡内存很小（哭了，不过我有时候是在别的电脑上做的，那个电脑比这个好用），网上搜到的说的 max_split_size_mb:128 这个方法我贴到我代码上之后没有效果。因为我在这个电脑上做的是主实验后面的一些对比实验，也就是代码中很多张量很多数据是不需要的。所以抖了个机灵，把不需要的数据全都注释掉，代码正常运行，对比实验数据跑出来了耶！
【已解决】torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 250.00 MiB.
热门推荐
dont worry about it的博客
05-24 6万+
报错：torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 250.00 MiB.
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 6.00 GiB total
Dxy1239310216的博客
05-24 3630
PyTorch提供了自动混合精度（Automatic Mixed Precision, AMP）支持，这可以通过使用较小的数据类型（如半精度浮点数）来减少内存使用，同时保持模型训练的准确性。：如果你有多个GPU，你可以使用PyTorch的DataParallel或DistributedDataParallel来在多个GPU上并行训练你的模型。但是，请注意这通常是PyTorch内部用于管理内存分配的参数，并且可能需要深入了解PyTorch的内存管理机制才能正确使用。：这是最常见的解决方法。
【WSL2笔记2】 搭建深度学习开发环境踩坑笔记 Ubuntu+CUDA+cuDNN+PyTorch+Tensorflow+ONNX
老富的博客
04-06 2956
错误的结果就是配置的所有虚拟环境都以base的python版本运行，无法配置每个虚拟环境使用不同python版本，失去了虚拟环境意义。至此，适用PyTorch、Tensorflow、cuDNN框架的深度学习开发环境搭建完成。WSL 上的 CUDA 用户指南。安装protobuf 3.2版本。Anaconda官网版本档案。下载Anaconda安装包。创建Python虚拟环境。设置Anaconda路径。需要注册账号登录下载。通过SSH传送WSL。
动手学深度学习第二版之环境配置(RTX2060+pytorch1.8.1+cuda11.1)
sunshine
04-24 2425
动手学深度学习第二版之环境配置(RTX2060+pytorch1.8.1+cuda11.1) 1、电脑硬件环境 CPU :i7-10750H GPU :rtx2060 显存6G 双系统 ubuntu18.04 win10 2、安装miniconda 参考：https://zh-v2.d2l.ai/chapter_installation/index.html 3、安装显卡驱动 首先检查是否安装显卡驱动 nvidia-smi 如果没有安装，则安装 ubuntu-drivers devices (
Ubuntu 20.04-Pytorch-GPU系统环境搭建指南
harryxia2014的博客
02-03 2958
本人硬件环境： CPU：Intel Core i7 6700 GPU：NVIDIA GTX 1060 6G 内存：SAMSUNG DDR4 32GB 硬盘：双SSD 256G,双系统（windows,ubuntu） 第一步，安装Ubuntu. 1.1 准备工作 1.1.1 下载 Ubuntu 镜像 打开ubuntu 20.04的下载地址，进入页面后点击右边的Download按钮开始下载。 Ubuntu 20.04​ubuntu.com/download/desktop 你会得到一
CUDA error:out of memory
Arcobaleno
05-16 3万+
今天在运行程序的时候，一直跟我报这个错误，说我CUDA内存不足。调试了很久，最后发现竟然是这样····· 刚开始我怀疑是服务器上的显卡被人用了，但是当我mvidia-smi的时候发现3块GPU都没人用。。那这个问题显然是不可能了。那为何会这样呢？ 又有人说是TensorFlow和Pytorch的版本冲突。？？？我并没有搞到TensorFlow啊 最后参考了该帖子：http:...
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 50.00 MiB (GPU 0； 23.69 GiB total
BetrayFree的博客
10-27 1万+
错误消息提供了一些有关当前GPU内存状态的信息，以及一些建议的解决方法。
【新手】复现NeRCo代码中出现的torch.cuda.OutOfMemoryError: CUDA out of memory. 问题解决办法。
qq_43612410的博客
09-13 2211
3、高版本pytorch可能在处理显存占用时有更多的优化，可以升级为更高版本的pytorch。特别是在相同型号GPU的情况下，可以考虑Python包版本的问题，通过“pip list”或者“conda list”可以参考版本信息。对于1，在尝试减少batchsize解决，发现原文中原本的batchsize已经是1，没有办法再减了。但是此方法只是应急用，至于怎么让他多个GPU一起用，我至今还没有弄明白，在参数前面加上。2、cached（缓存）过高的情况下，在报错的代码块之前先添加。也还是会报显存不够的错误.
torch.cuda.OutOfMemoryError
power的专栏
05-31 7490
遇到这个错误，按网上改小batch_size改的很小了，依然报错。错误原因是网络的输入输出shape不一致。后改小了网络结构，搞定。
解决：torch.cuda.OutOfMemoryError: CUDA out of memory.
weixin_44813538的博客
05-11 1万+
2. 解决：可以尝试将batch_size调小。1. 场景：在改进yolov7过程中出现错误。
报错记录torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 90.00 MiB (GPU 0； 7.93 GiB to
gongkeguo的博客
11-03 2万+
python报错记录
torch.cuda.OutOfMemoryError: CUDA out of memory.的解决办法
12-02
当出现torch.cuda.OutOfMemoryError: CUDA out of memory错误时，可以尝试以下解决方法： 1.将batch_size改小，减少每次传入模型的数据量。 2.使用torch.no_grad()包装测试代码，以减少内存占用。 3.使用torch.utils.checkpoint.checkpoint()函数，将大的模型分成小块进行计算，以减少内存占用。 4.使用torch.cuda.empty_cache()清空GPU缓存，释放内存。 5.使用半精度训练（mixed-precision training）技术，将模型参数和梯度转换为半精度浮点数，以减少内存占用。 6.使用分布式训练，将模型参数和梯度分布在多个GPU上进行计算，以减少单个GPU的内存占用。 7.使用PyTorch提供的内存管理工具，如max_split_size_mb参数和PYTORCH_CUDA_ALLOC_CONF环境变量，以避免内存碎片和优化内存分配。 8.使用更大的GPU或者增加GPU数量，以增加可用的显存。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值