解决“CUDA out of memory.”问题

最新推荐文章于 2024-09-20 11:24:30 发布

Zpadger

最新推荐文章于 2024-09-20 11:24:30 发布

阅读量3k

点赞数

分类专栏：踩坑记录 Deep Learning Python debug

本文链接：https://blog.csdn.net/SpadgerZ/article/details/115742122

版权

CUDA python 深度学习网络模型

踩坑记录同时被 3 个专栏收录

55 篇文章 3 订阅

订阅专栏

Python debug

32 篇文章 3 订阅

订阅专栏

Deep Learning

15 篇文章 1 订阅

订阅专栏

问题描述

今天在跑实验的时候，将网络模型改得更加复杂了，出现内存不够的报错提示：

RuntimeError: CUDA out of memory. Tried to allocate 1.22 GiB (GPU 1; 14.76 GiB total capacity; 2.65 GiB already allocated; 1.22 GiB free; 3.69 GiB reserved in total by PyTorch)

16GB的GPU都不够用了......

解决方法

将batch_size改小即可

# 原来的batch_size
--batch 16

# 改为
--batch 8

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Zpadger

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0； 2.00 GiB to

近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…

06-02

1万+

成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0; 2.00 GiB total capacity; 1.67 GiB already allocated; 0 bytes free; 1.67 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_s

Pytorch GPU显存充足却显示out of memory的解决方式

09-18

今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

参与评论您还未登录，请先登录后发表或查看评论

关于解决CUDA out of memory的显存问题

最新发布

m0_46808930的博客

09-20

1158

出现的是 torch.cuda.OutOfMemoryError 错误，这意味着当前 GPU 显存不足，无法分配更多的内存来执行操作。

CUDA out of memory.(已解决）

weixin_43398590的博客

04-08

15万+

CUDA out of memory.(已解决）有时候我们会遇到明明显存够用却显示CUDA out of memory，这时我们就要看看是什么进程占用了我们的GPU。按住键盘上的Windows小旗子+R在弹出的框里输入cmd，进入控制台。 nvidia-smi 这个命令可以查看GPU的使用情况，和占用GPU资源的程序。我们看到python再运行完以后没有释放资源导致GPU的内存满了。可以...

CUDA out of memory 解决办法

qq_42925267的博客

01-26

4万+

CUDA @TOC 欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式进行

【已解决】探究CUDA out of memory背后原因，如何释放GPU显存？

FRIGIDWINTER的博客

04-11

6万+

本文探究CUDA的内存管理机制，总结RuntimeError: CUDA out of memory的背后原因，并给出解决方案

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 400.00 MiB (GPU 0； 6.00 GiB total

mjmald的博客

07-25

1万+

5. **调整 PyTorch 内存管理设置**: 可以尝试调整 PyTorch 的内存管理设置，例如通过设置`max_split_size_mb` 来避免内存碎片化。3. **释放不需要的显存**: 在某些情况下，可能存在一些不需要的显存被占用，可以使用`torch.cuda.empty_cache()` 来释放不需要的显存。可以尝试减小`batch_size` 参数的值。1. **减少模型的大小**: 可以考虑减少模型的大小，例如通过选择更小的模型、减少模型的层数或通道数等方式，来降低内存需求。

pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB

热门推荐

xiyou__的博客

07-06

19万+

Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB 解决方法：法一：调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。法二：在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）： import torch, gc gc.collect() torch.cuda.empty_cache() 法三（常用方法）：在测试阶段和验证阶段前插入代码 with torch.no_gr

pytorch模型提示超出内存RuntimeError: CUDA out of memory.

01-20

跑模型时出现RuntimeError: CUDA out of memory.错误查阅了许多相关内容，原因是：GPU显存内存不够简单总结一下解决方法：将batch_size改小。取torch变量标量值时使用item()属性。可以在测试阶段添加如下代码：...

解决出现CUDA error-out of memory的问题.pdf

11-16

理解并掌握这些技巧对于有效利用GPU资源、避免或解决“CUDA error: out of memory”问题至关重要。在实践中，应结合日志监控和调试工具，对模型的显存使用进行精细化管理，确保训练过程的顺利进行。

解决Pytorch 训练与测试时爆显存(out of memory)的问题

09-18

在使用PyTorch进行深度学习模型的训练和测试过程中，可能会遇到“显存溢出”（Out of Memory，OOM）的问题。这个问题通常是由于GPU内存不足以存储所有计算所需的张量而导致的。以下是一些解决PyTorch训练与测试时...

torch.cuda.OutOfMemoryError: CUDA out of memory.

Hello_World1023的博客

04-25

4万+

发现gpu:0显存被PID:19409程序大量占用, 报错应该是默认在gpu:0训练导致显存不足, 接着查看gpu:0上程序所属用户(如果不是师兄的我就kill了)设置完成后查看显存占用情况可以看到, gpu:1显存占用马上上升了, 不影响其他gpu卡的显存。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。这样即可指定在gpu:1上训练, 实际上是只设置gpu:1可见, 而屏蔽其他gpu卡。发现gpu:1空闲, 指定gpu:1上训练模型, 有多种方法,

cuda out of memory（pytorch）问题的解决

张壮壮的博客

03-03

1万+

最近在训练网络，发现无法使用GPU，一直报错cuda out of memory.查阅了网上很多方法，记录一下我的解决过程。可能原因及解决方法（一）原因：大量其他进程占用了GPU 解决：kill占用GPU的进程，释放GPU 参考博文：链接（二）原因：batch_size过大解决：将batch_size调小一点，再次测试看能否运行。（三）原因：不知道这个怎么描述，没有用到所有的GPU？解决：在代码中添加os.environ['CUDA_VISIBLE_DEVICES']="0, 1"，这个序

如何解决“RuntimeError: CUDA Out of memory”问题

AI公园

03-22

9692

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Nitin Kishore编译：ronghuaiyang导读一些可以尝试的解决“RuntimeError: CUDA Out of memory”的方案。当遇到这个问题时，你可以尝试一下这些建议，按代码更改的顺序递增：减少“batch_size”降低精度按照错误说的做清除缓存修改模型/训练在这些选项中，如果你使用的是预训练模型，则最容...

torch.cuda.OutOfMemoryError

power的专栏

05-31

7450

遇到这个错误，按网上改小batch_size改的很小了，依然报错。错误原因是网络的输入输出shape不一致。后改小了网络结构，搞定。

解决出现CUDA error:out of memory的问题

qq_46542320的博客

05-24

1万+

使用：CUDA_VISIBLE_DEVICES限制一下使用的GPU。CUDA_VISIBLE_DEVICES=0,1 则使用这两张GPU。CUDA_VISIBLE_DEVICES=0 则使用第一张GPU。CUDA_VISIBLE_DEVICES=1，则使用第二张GPU。如何设置CUDA_VISIBLE_DEVICES？例如：有两块GPU，即0,1号GPU，查阅资料，发现是显卡内存不足。

CUDA out of memory解决办法

家鸽的代码屋

12-31

1万+

CUDA out of memory解决办法当使用Pytorch GPU进行计算时经常遇到GPU存储空间过满，原因大致有两点： 1.Batch_size设置过大，超过显存空间解决办法：减小Batch_size 2.之前程序运行结束后未释放显存解决办法：按住键盘上的Win+R在弹出的框里输入cmd，进入控制台, 然后输入命令 nvidia-smi 查看GPU的使用情况，和占用GPU资源的程序，我们看到 PID 2492 运行着python占用很大空间可以使用如下命令杀死进程 taskkill

pytorch遇见RuntimeError: CUDA out of memory的解决

橙子Blue不加冰

07-26

8113

RuntimeError: CUDA out of memory 1.查看是否其他程序占用显存遇到此类错误后，对于py格式的文件来说，程序会进行终止，也就是当前程序占用的显存将会被释放。此时可用 watch -n 1 nvidia-smi 命令查看当前显存的使用情况。如果此时显存依然有比较大的占用，说明存在其他程序占用显存，使用kill命令结束不必要的程序即可。 2.查看pytorch和cuda是否匹配使用方法torch.cuda.is_available()，确认pytorch和cuda是否匹配，如

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 50.00 MiB (GPU 0； 23.69 GiB total

BetrayFree的博客

10-27

1万+

错误消息提供了一些有关当前GPU内存状态的信息，以及一些建议的解决方法。

CUDA out of memory. Tried to allocate

10-20

CUDA out of memory. Tried to allocate是指在使用CUDA加速计算时，由于显存不足而无法分配所需的内存。这通常发生在训练深度神经网络时，因为模型参数和梯度需要存储在显存中，而显存的容量是有限的。当显存不足以容纳所需的数据时，就会出现CUDA out of memory错误。解决这个问题的方法包括： 1. 减少batch size，即每次输入的数据量减少，从而减少显存的使用。 2. 减少模型的参数量，可以通过减少网络层数、减少每层的神经元数量等方式实现。 3. 使用更高容量的显卡或者多个显卡并行计算。 4. 在训练过程中定期清理显存，释放不必要的内存。