针对显存缓慢增加的问题

最新推荐文章于 2024-10-28 11:50:05 发布
最新推荐文章于 2024-10-28 11:50:05 发布
阅读量428 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alexandsunny/article/details/107567488
版权

方法一

加入过CUDA的都del掉，del后再加上torch.cuda.empty_cache()才会起效果
速度会变慢

 # delete caches
 del img, segm, outputs, loss
 torch.cuda.empty_cache()

方法二*

检查验证部分有没有加with torch.no_grad():
加入之后显存占用缓慢增加的问题得到了解决，而且不影响速度

【问题探究】如何解决pytorch训练时的显存占用递增（导致out of memory）
fish_like_apple的博客
09-26 2万+
前言： { 现在的神经网络模型，动不动就爆内存。两年前我笔记本2G的显存都绰绰有余，现在16G的P100，24G的P40却还不够。更让我郁闷的是，在pytorch训练时，显存占用竟然会不断增加，可能刚开始训练时是正常的，但是放在那里，不知道什么时候它就突然来一句out of memory，然后就尥蹶子不干了，白白浪费了很长的时间。所以这个问题我确实需要搞清楚。 } 正文： ...
debug 显存一直缓慢增长
喵
12-03 631
1 代码运行正常，显存占用在逐渐增长，最终 out of memory！ 常见的可能性与解决方案： # 加torch的显存优化 torch.backends.cudnn.enabled = True torch.backends.cudnn.benchmark = True # loss加item() train_loss += loss.item() # delete caches del 变量 torch.cuda.empty_cache() # 以上常见解决方案没有奏效，empty cach
图片加载到显存发现显存增长过慢，结果为空
baidu_39157459的博客
08-03 229
记录bug
解决训练网络时候显存一直增加的问题（torch）
zyrant丶的博客
06-02 1885
1.方法1： torch.backends.cudnn.enabled = True torch.backends.cudnn.benchmark = True 原理：
Torch.cuda.empty_cache() 性能非常非常慢
张伟的专栏
12-31 2241
当我在单个 GPU 上执行时，我遇到了的问题。这种缓慢的行为出现在被处理之后 - 也就是 GPU 已经快满了，需要回收它的内存来接受下一批的时候。在GPU 状态 - 性能（如预期）。我希望下面的代码 sn-p 和输出都能简明扼要地说明问题。（为了简洁，我已经从 sn-p 中删除了打印和时间测量）输出我是否遗漏了一些明显的东西，或者这是GPU 行为？我在进行复杂编码之前发布这个问题，在我的服务器上可用的几个 GPU 和 CPU 之间进行处理。提前致谢， 阿尔伯特。
深度学习中 GPU 和显存分析
热门推荐
lien0906的专栏
12-21 3万+
深度学习最吃机器，耗资源，在本文，我将来科普一下在深度学习中： 何为 “资源” 不同操作都耗费什么资源 如何充分的利用有限的资源 如何合理选择显卡 并纠正几个误区： 显存和 GPU 等价，使用 GPU 主要看显存的使用？ Batch Size 越大，程序越快，而且近似成正比？ 显存占用越多，程序越快？
快速解决安装Intel显卡驱动后桌面右键刷新缓慢问题
执行提供的批处理文件：由于提供的压缩包文件名称为“安装显卡驱动后右键刷新慢.bat”，这很可能是一个针对上述问题的批处理脚本解决方案，可能包含了清理注册表、禁用某些服务、调整系统设置等操作。在使用此...
操作MindManager时候进程缓慢、高CPU使用百分比.docx
09-27
在使用 MindManager 这款强大的思维导图软件时，用户可能会遇到进程运行缓慢以及CPU使用率过高的问题，这些问题不仅影响工作效率，也可能导致电脑性能下降。本文将详细解析这一问题的原因，并提供有效的解决策略。 ...
优化游戏运行缓慢画面不佳
12-04
针对这些问题，我们可以从以下几个方面进行优化： 1. **硬件升级**：首先检查你的计算机硬件是否满足游戏的最低或推荐配置。如果处理器、显卡、内存或硬盘速度过低，可能需要考虑升级。例如，更换高性能的CPU、GPU...
ollama启动缓慢
02-20
如果硬件条件允许的话，适当增加分配给单个实例使用的显存大小有助于加速大型神经网络权重矩阵的传输与解码操作。命令行中的`--gpus all`选项意味着会占用全部可用图形处理器资源，这可能会造成其他程序无法正常使用...
airsim 图像输出缓慢
最新发布
04-01
好的，我现在需要解决用户提到的AirSim图像输出缓慢的问题，特别是关于图像输出性能优化的方法，包括调整帧率和解决高延迟的方案。首先，我应该回忆一下AirSim的基本知识以及相关的性能优化技巧。 用户提到了图像...
pytorch显存越来越多的一个潜在原因-- 这个函数还没有在torch.cuda.Tensor中定义
csldh的博客
08-30 9959
最近在用pytorch跑实验，有如下操作需要用到: （pytorch版本为0.3.1） class SpatialFilter(nn.Module):     def __init__(self,mode=True,sf_rate=0.8):         '''         给定特征图求hot_map         '''         super(SpatialFilter,se...
pytorch 关于显存增长原因以及显存占用优化
qq_36401512的博客
07-16 1万+
ps:师傅希望想tensorflow一样设置GPU占用（tf.GPUOptions），但事实情况是好像pytorch根本就没有相关函数来设置（如８Ｇ显存我只用2G,来跑是否可行） 1.网上很多攻略关于pytorch 训练时显存持续增长的问题 其实这个问题主要出现在0.4之前的版本，在累加loss时用的是loss_sum+=loss，而非loss_sum+=loss.data[0].因...
深度学习：用del删掉不用的tensor真的能降低显存消耗吗
weixin_48915167的博客
01-07 1214
del能降显存占用么？能不能解决显存溢出不能训练的问题？
pytorch训练时的显存占用递增，out of memory
qq_42296251的博客
10-28 612
pytorch进行训练的时候，占用的显存总是不停的上涨，直到out of memory，检查训练日志，发现reserved memory远大于allocated memory，而且allocated memory会波动但不会稳定上涨，reserved memory会稳定上涨。在记录损失的时候，把整个tensor变量给保存了下来，这就导致在完成一次前向推理和反向传播之后，由于损失tensor被保留了下来，导致计算图无法被正常销毁，因此导致reserved memory不停增大。查过资料后发现是损失值的问题。
解决训练时显存不断增大问题
axept的博客
03-04 6016
解决训练时现存不断增大问题 问题描述：在训练时显存不断增大，最终显存爆炸 在上一篇提到，为了解决这个问题我无意间解决了另一个问题，但发现那个问题并不是根本原因，于是我又查阅了一些资料，经过一番尝试后找到了真正原因。 首先网上有一些解决方法，例如： 但是经过尝试，无论添加与否，显存还是在不断增加 最终原因是由于我在训练时将一个中间结果不断地存进了一个列表里，并始终没有清空，最终导致了显存爆炸的问题 最终注释掉这一行成功解决问题，在循环中尽量少用append方法，如果要保存中间结果，利用np.save等方法
深度学习显存占用不断提高（网上没有出现的一种情况）
qq_42061298的博客
05-23 1699
当我运行一段代码的时候出现一开始显存占用没有满，随着训练的step增多显存逐渐增大。我尝试了https://blog.csdn.net/qq_36401512/article/details/96163940所有方法发现都不行。直到收到一位高人指点，将原先的torch1.7版本换为torch1.6问题就解决了。 ...
pytorch 显存逐渐增大
a362682954的博客
11-05 1万+
在训练过程中,显存随着batch的增加而增大,特别是在预测的时候. 这时候可能是因为在训练过程中存储的数组是添加的而不是覆盖的.例如在预测过程中将所有结果逐渐添加保存到一个list中,导致list越来越大,占用的显存越来越多,从而导致oom或者卡死现象. 如果一定要使用添加数组,可以考虑使用np.save分布存储,再使用np.load读取,这样就不会添加进显存. 使用 torch.cuda...
Pytorch CUDA GPU运算模型训练缓慢的一个可能原因
xiongxyowo的博客
10-09 1万+
今天用GPU跑模型的时候，发现训练速度奇慢无比… 第一反应是检查GPU的利用率，输入： nvidia-smi 检查风扇利用率，GPU温度以及GPU利用率(框出来的地方)。可以看到风扇正常在转，温度也不高，利用率甚至为0。那么这个时候就比较疑惑了，如果是上述这三个问题倒比较好去针对性的解决。 这个时候去检查了下CPU利用率，输入： top 可以发现CPU占用率到了99.3%…这就导致实际上只要涉及到CPU运算，就基本上卡死，导致整体模型训练不动，造成"GPU可能有问题"的假象。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值