Pytorch训练模型时如何释放GPU显存 torch.cuda.empty_cache()内存释放以及cuda的显存机制探索

已于 2024-05-05 13:25:56 修改
阅读量9.4w 收藏 236
点赞数 117
分类专栏： Pytorch 大厂算法岗求职攻略 文章标签： GPU cuda 显存释放
于 2021-04-15 15:00:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43827595/article/details/115722953
版权
本文探讨PyTorch训练模型时GPU显存的变化及释放策略。当新增 tensor 时，GPU显存会扩大，但在 batch 训练中，由于内存管理机制，显存容量可能看似不变。通过 `torch.cuda.empty_cache()` 可释放不再使用的显存。理解这些机制有助于优化 GPU 资源利用。
摘要由CSDN通过智能技术生成

前言

训练模型时，一般我们会把模型model，数据data和标签label放到GPU显存中进行加速。

但有的时候GPU Memory会增加，有的时候会保持不变，以及我们要怎么清理掉一些用完的变量呢？

下面让我们一起来探究下原理吧！

一、pytorch训练模型

只要你把任何东西（无论是多小的tensor）放到GPU显存中，那么你至少会栈1000MiB左右的显存（根据cuda版本，会略有不同）。这部分显存是cuda running时固有配件必须要占掉的显存，你先训练过程汇总也是无法释放的。

import torch

device = torch.device('cuda' if torch.cuda
了解本专栏 订阅专栏 解锁全文 超级会员免费看
捡起一束光
关注
专栏目录
订阅专栏
PyTorch删除模型释放显存（全）
走向CTO的路上...
05-22 1663
在PyTorch和其他深度学习框架中，可能会出现更多自动化的显存管理机制，以优化显存的使用和释放，提供更便捷的接口和工具来管理模型和显存资源。在使用深度学习框架PyTorch时，当模型较大或训练过程中使用的显存资源较多时，需要及时释放显存空间，以避免显存溢出或资源浪费的问题。删除模型是一种常见的方法，可以释放已加载模型所占用的显存空间。总之，删除模型释放显存是一种重要的技术手段，用于优化显存资源的管理和利用。在使用PyTorch进行深度学习时，删除模型是一种常见的方法，用于释放已加载模型所占用的显存空间。
torch.cuda.is_available（）返回False解决方案
12-21
在使用PyTorch进行深度学习时，我们常常需要利用GPU的计算能力来加速模型的训练。`torch.cuda.is_available()` 是一个重要的函数，用于检查当前系统是否能够使用CUDA，即NVIDIA的GPU加速库。当这个函数返回 `False` ...
Pytorch 显存管理机制与显存占用分析方法
CV_Autobot的博客
06-23 798
作者|不理不理 编辑| 极市平台原文链接：https://zhuanlan.zhihu.com/p/699254132点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『PyTorch』技术交流群本文只做学术分享，如有侵权，联系删文近期在研究大模型推理加速框架 VLLM 源码的过程中，对 Pytorch 的显存占用...
深度剖析 PyTorch 内存管理：torch.cuda.memory_summary 应用指南
最新发布
2401_85761762的博客
08-19 876
是 PyTorch 提供的一个诊断工具，用于报告当前 GPU 内存使用情况的详细摘要。它包括内存分配、峰值内存使用量、内存分配器的状态等关键信息。：当前所有分配的内存大小。：峰值时所有分配的内存大小。：当前缓存分配的内存大小。：峰值时缓存分配的内存大小。这些指标可以帮助我们理解当前的内存使用状况和潜在的优化空间。通过，PyTorch 用户可以轻松地监控和分析 GPU 内存的使用情况。这不仅有助于优化模型训练，避免内存问题，还可以作为性能调优的重要依据。
pytorch训练与测试爆显存问题的解决
juluwangriyue的博客
11-27 4806
解决Pytorch 训练与测试时爆显存(out of memory)的问题 Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of memory" in str(excep
pytorch的显存释放机制torch.cuda.empty_cache() Pytorch已经可以自动回收我们不用的显存，类似于python的引用机制，当某一内存内的数据不再有任何变量引用时
CSPhD-winston的博客
01-15 4053
pytorch的显存释放机制torch.cuda.empty_cache() Pytorch已经可以自动回收我们不用的显存，类似于python的引用机制，当某一内存内的数据不再有任何变量引用时，这部分的内存便会被释放。但有一点需要注意，当我们有一部分显存不再使用的时候，这部分释放的显存通过Nvidia-smi命令是看不到的，举个例子： device = torch.device('cuda:0')...
pytorch 减小显存消耗，优化显存使用，避免out of memory
热门推荐
小小码农的博客
06-14 10万+
本文是整理了大神的两篇博客：如何计算模型以及中间变量的显存占用大小：https://oldpan.me/archives/how-to-calculate-gpu-memory如何在Pytorch中精细化利用显存：https://oldpan.me/archives/how-to-use-memory-pytorch还有知乎中大神的解答：https://zhuanlan.zhihu.com/p/3...
【pytorch】torch.cuda.empty_cache()==＞释放缓存分配器当前持有的且未占用的缓存显存
MOL
06-14 3万+
Pytorch 训练时无用的临时变量可能会越来越多，导致out of memory，可以使用下面语句来清理这些不需要的变量。 torch.cuda.empty_cache() 官网上的解释为： Releases all unoccupied cached memory currently held by the caching allocator so that those can be used in other GPU application and visible invidia-sm...
Pytorch清空显存缓冲区(torch.cuda.empty_cache)
hxxjxw的博客
08-18 4万+
torch.cuda.empty_cache() 写代码的好习惯是在程序最后执行以下这句话
Pytorch：torch.cuda.empty_cache()
weixin_42046845的博客
03-20 2531
torch.cuda.empty_cache() 是PyTorch中用来释放未被分配的缓存的内存的函数。在使用GPU进行计算时，CUDA会在内部维护一个内存缓存池，以便更快地分配和释放。但有时候，这些缓存的内存在不再需要的时候，它们不会被自动返回到操作系统。
【Pytorch API笔记8】用torch.cuda.empty_cache()释放所有未使用的缓存内存
hjxu2016的博客
11-17 908
python上，如何释放torch开辟的显存呢？
解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题
人工智能
03-13 1108
使用pytorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行.在开发的过程中，程序已经关闭，但是GPU显存无法释放，在使用pytorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？
pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2
03-03
总结来说，"pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2"是一个集合了最新PyTorch版本、CUDA和CUDNN的高效深度学习环境，适合于进行复杂的模型训练和部署。通过了解并熟练运用这些工具，开发者可以在...
torch.cuda.is_available()返回False的问题解决
04-02
torch.cuda.is_available()返回False的问题解决
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
4. **优化内存管理**：PyTorch提供了`torch.cuda.empty_cache()`函数，可以清理GPU上的未使用的缓存，释放显存。另外，确保在每个epoch结束后释放模型和数据的内存，避免内存泄漏。 5. **检查PyTorch版本**：正如...
Pytroch - 显存释放问题
David's Tweet
12-31 3397
PyTorch 在训练和预测的时候，出现显存一直增加的问题，占用显存越来越多，甚至导致最终出现 out of memory 问题。 1. 显存管理(Memory Management) Memory management PyTorch 采用缓存分配器(caching memory allocator) 机制以加速内存分配(memory allocations)，使得在不需要设备同步(d...
pytorch清空GPU缓存
weixin_41142756的博客
08-15 150
在 PyTorch 中，训练完模型后，如果想要释放 GPU 内存，你可以使用以下几种方法：1. 清空缓存使用torch.cuda.empty_cache()来释放未使用的显存。请注意，这不会删除变量，只是帮助 PyTorch 释放未使用的内存。示例如下：登录后复制 import torch # 在训练完成后 ...
pytorch训练过程中释放显存
qq_43659401的博客
07-19 945
在python程序中需要显存暴增的问题，可以试试
算法模型运行后显存不释放解决办法
qq_60695343的博客
05-26 2879
第一种方式：利用开子进程的方式进行模型对图像处理，子进程任务执行结束，达到显存释放的目的。第二种方式：torch.cuda.empty_cache()
torch.cuda.empty_cache() 加在代码哪里
04-29
`torch.cuda.empty_cache()`可以用于清空PyTorch使用的GPU缓存，以便在运行时释放内存。通常在训练过程中显存不够时，可以使用该函数来释放一些不必要的显存。你可以将其放在以下位置： 1. 在每个epoch的结束时，在模型评估之后，可以使用该函数清空GPU缓存，例如： ``` for epoch in range(num_epochs): # 训练模型 train_loss = train(model, train_data_loader, optimizer, device) # 评估模型 valid_loss = evaluate(model, valid_data_loader, device) # 在每个epoch结束时清空GPU缓存 torch.cuda.empty_cache() ``` 2. 如果你的模型有很多参数，可能会在某些时刻耗尽显存，可以在训练过程中的某些关键点手动释放内存，例如： ``` for i, batch in enumerate(data_loader): # 将数据移动到GPU上 inputs = batch.to(device) # 前向传播 outputs = model(inputs) # 反向传播 loss.backward() # 在每个100个batch后手动释放内存 if i % 100 == 0: torch.cuda.empty_cache() ``` 希望这能帮到你。
评论 29
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

捡起一束光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值