关于pytorch使用时 内存飙升的问题记录

最新推荐文章于 2024-05-23 21:41:19 发布
最新推荐文章于 2024-05-23 21:41:19 发布
阅读量4.7k 收藏 3
点赞数 2
分类专栏： python深度学习 文章标签： pytorch python 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43994782/article/details/121532269
版权

问题

这次做了一个人脸检测加识别的项目，由于开发在服务器上开发，没发现问题，但是当部署到jetson盒子上时发现内存会异常增高。以下是

记录总结

在这里插入图片描述
在使用pytorch gpu运行时，会开辟额外的空间，网上有理论说在gpu上pytorch有自己的函数等，所以会异常占用，另外在cpu上检测模型加载时内存也很高的问题，还没有比较合理的解释，不过我在 后面转换为tensorrt之后发现及时只在开头引入了pytorch序列化函数，后面内存也会多占用2个g左右。

解决办法

坦白说，并没有找到什么解决办法，最好的办法就是不用pytorch，诚然在训练时确实码代码比较方便，但是部署的内存占用确实让人难以接受，另外如果需要实时推理，在硬件功能稍弱的情况下，这个推理速度也是跟不上的。所以建议大家还是转成 tensorrt进行推理。

记录

GPU测试
未开始前 内存占用1.8G
在这里插入图片描述
只加载检测模型 占用3.4G（我用的检测模型特别小！）
在这里插入图片描述
只加载检测模型+推理 占用4.8G
在这里插入图片描述

只加载识别模型 占用3.7G
在这里插入图片描述

只加载识别模型+推理 占用 4.8G
在这里插入图片描述

两个模型一起加载 占用3.8G
在这里插入图片描述

两个模型一起加载并推理 占用5.9G

在这里插入图片描述

搜索了以下问题，有盆友说是因为在pytorch内部使用了自己的cuda核函数，所以内存会很高，如果使用cpu推理就会小很多，这里也测试了以下cpu下的内存占用。

加载检测模型 3.4G

在这里插入图片描述
使用cpu 只加载检测模型+推理 3.8G
在这里插入图片描述

Cpu只加载识别模型
在这里插入图片描述
使用cpu 只加载识别模型+推理 3.7G
在这里插入图片描述

Cpu两个加载 3.7G
在这里插入图片描述

嘿，不许笑
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python pytorch爆显存，内存溢出问题解决方法（总结）RuntimeError: CUDA out of memory.
weixin_42569547的博客
10-17 4555
【代码】python pytorch爆显存，内存溢出问题解决方法（总结）RuntimeError: CUDA out of memory.
pytorch初始化时占用过多内存问题
The space of Shining
01-09 4446
问题来源： 使用pytorch部署代码，我们会发现一个问题，就是如果只是使用cpu不适用gpu，pytorch加载进来的时候并不会占用多大的内存，一切都是正常的。 下面是问题描述： There is a huge RAM overhead for using the GPU even for processing small tensors. Here’s a standalone script...
训练的过程中内存一直增加的问题（内存泄漏）、如何检查是否内存泄漏
最新发布
简单记录生活、学习
05-23 509
【代码】训练的过程中内存一直增加的问题。
解决pytorch GPU 计算过程中出现内存耗尽的问题
09-18
今天小编就为大家分享一篇解决pytorch GPU 计算过程中出现内存耗尽的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python Bug 关于PyTorch-Dataset 内存持续增长bug
zhziqiang的博客
09-06 1351
python List[Dict] bug
pytorch训练时内存被占满导致训练终止
qq_43561292的博客
12-10 2335
OSError: [Errno 12] Cannot allocate memory RuntimeError: DataLoader worker (pid 10443) is killed by signal
【pytorch】——训练的时候内存一直增加
怡宝2号
10-15 3107
pytorch pytorch训练模型的内存一直增加，在我的问题是： 创建了多个dataloader，但是训练的时候只用了一个dataloader的数据，但是另外一个dataloader也参与了循环，具体看下面的例子： dataloaderA = dataloaderB = for i, data in enumerate(zip(dataloaderA, dataloaderB)): data = data[0] input = data[0] label = data[1] 这样就只用.
pytorch训练过程中内存一直慢慢增长直到爆
热门推荐
CRDarwin的博客
08-27 1万+
原因：代码中需要多次用到一个高维tensor，没一个batch都要更新一次它的值，这个值的获得需要过一次网络 心路历程：刚开始以为是传参活着内存释放的问题，又深入研究了python，用了很多del、gc.collect()语句，发现内存释放不掉，还是随着训练过程逐渐增长 最终解决：因为是把两个代码的方法往一个整，又看了源码，看到源代码过网络的时候用了with torch.no_grad()这个语句，就试了一下，没想到就是这个问题，困了我两三天啊阿啊 分析：应该是没有这个语句的话，因为可能要求导，所以pyto
关于pytorch处理类别不平衡的问题
12-23
当训练样本不均匀时，我们可以采用过采样、欠采样、数据增强等手段来避免过拟合。今天遇到一个3d点云数据集合，样本分布极不均匀，正例与负例相差4-5个数量级。数据增强效果就不会太好了，另外过采样也不太合适，...
解决Pytorch自定义层出现多Variable共享内存错误问题
09-16
然而，在编写自定义层时，可能会遇到多Variable共享内存的问题，这会导致运行时错误。这个问题通常出现在使用in-place操作或者不当的变量引用时。本文将深入探讨这个问题，并提供解决方案。 首先，理解错误信息...
pytorch_memlab:在pytorch中分析和检查内存
05-04
一个简单，准确的pytorch CUDA内存管理实验室，它由有关内存的不同部分组成： 特征： 内存探查器：具有简单API的line_profiler样式CUDA内存探查器。 内存报告器：一个报告器，用于检查占用CUDA存储器的张量。 ...
Pytorch训练深度强化学习时CPU内存占用一直在快速增加
qq_31239371的博客
10-19 2301
说白了，就是经验池的存储函数，也就是因为一直往经验池里加数据导致内存增加。想了想，原来是我最近修改了算法输入，把图像作为状态输入的一部分了，此外换了配置更好的电脑，程序运行速度也提升了。二者综合作用下，内存才会有明显增加，从而被我发现！（我真是脑子抽了，这么简单的问题一直没想到。最近在用MATD3算法解决多机器人任务，但是在训练过程中，CPU内存一直在增加（注意，不是GPU显存）。我很头疼，以为是算法代码出了问题，导致了内存泄漏，折腾了1天也没解决。解决方法：终极方法就是换大内存。
解决pytorch训练的过程中内存一直增加的问题
Tak-Wah Blog
12-13 917
oss['loss'] += loss.item() 以及 eval_loss['loss'] += loss.item()。值得注意的是，要复现内存越来越大的问题，模型中需要切换model.train() 和 model.eval()，train_loss以及eval_loss的作用是保存模型的平均误差(这里是累积误差)，保存到tensorboard中。
pytorch训练中内存一直增加的原因
qq_42178122的博客
09-05 6288
代码中存在累加loss,但是每步的loss没加item() 例如下面例子; import torch import torch.nn as nn from collections import defaultdict if torch.cuda.is_available(): device = 'cuda' else: device = 'cpu' model = nn.Linear(100, 400).to(device) criterion = nn.L1Loss(reduction
终于解决pytorch训练过程中CPU内存溢出的问题
weixin_44616692的博客
06-03 2158
期待了一晚上的结果，早上起来竟然发现CPU内存溢出导致程序奔溃了，今天郁闷了一天。。。经查询，内存溢出的常见原因有：loss求和未加item()num_workers过大大量使用list转tensor。
【pytorch训练过程中服务器内存逐渐增加至process killed】
CRDarwin的博客
04-06 1685
pytorch训练过程中服务器内存逐渐增加至process killed 背景说明 之前写过一篇帖子是显存占用逐渐增加到爆，同样的代码，最近又出现一个问题：服务器的RAM在训练过程中，mem used这一项逐渐增加，直到进程被killed。原因还是代码中有一个memory bank，需要把深度模型提取到的特征全部保存下来，进一步分析处理。 解决过程 分析 看帖子其他人讲到使用memory_profiler来分析每行代码的内存使用情况。这个工具很好用，可以统计每行代码执行后使用内存增加/减少数目，帮助锁定内存
pytorch 训练过程中缓存不断增大 and loss.backword()占用缓存过大
咖乐部
02-08 962
total_loss += loss.cpu().detach().numpy()
pytorch 如何减少内存和显存
weixin_42425256的博客
11-24 946
pytorch 如何减少内存和显存
python内存一直增加_当word>0时，Python数据加载器为num，内存消耗逐渐增加，最终达到oom,PytorchDataLoader,numworder0,占用,增大,OOM...
weixin_39993454的博客
12-10 536
现象内存占用随着训练过程逐渐增大，最终Out of memory。即使将不再用到的变量及时删除并使用gc.collect()，也无法解决。解决方案方案1：Dataset 的成员变量避免使用Python原生数据格式以下面的Dataset代码为例，如果使用self.data = [x for x in range(24000000)]，即使用了List作为Dataset的成员变量，当num_worke...
pytorch使用gpu内存超出
06-06
Pytorch是一种基于Python语言的开源深度学习框架，其提供了强大的GPU计算能力。在Pytorch中，使用GPU加速可以显著地提高模型的训练速度和效率，尤其是在处理大规模数据集和深层网络时。 然而，当使用Pytorch进行大规模的深度学习训练时，可能会出现GPU内存超出的问题。这是因为深度学习网络通常需要处理大量的数据和参数，需要更多的内存空间来存储中间结果和计算缓存。如果GPU内存不足，就会导致程序崩溃或者无法正常运行。 为了解决这个问题，可以采用以下几种方法： 1. 减小batch size：减小批量大小可以减少每个小批量所需要的内存量，从而减少GPU内存的压力。但减小批量大小会降低训练速度和模型的收敛速度，需要权衡利弊。 2. 使用分布式训练：分布式训练可以将训练数据分布到多个GPU上，并行计算，从而降低每个GPU的负担。但需要对代码进行一定的修改和调整，并且需要在多个GPU之间进行通信，涉及到一定的技术难度。 3. 调整模型结构：可以通过精简模型结构、减少模型参数等方式来降低模型的计算复杂度，从而减少GPU内存的占用。但调整模型结构可能会影响模型的性能和精度。 4. 提高GPU显存的利用率：可以通过将数据存储和计算转化为张量形式、采用深度学习库的API等方式来提高GPU显存的利用率，从而减少内存的占用。 在使用Pytorch进行深度学习训练时，需要根据具体情况采用以上的一种或多种方法来解决GPU内存超出的问题，以保证训练的稳定性和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值