记录一次 python 程序内存泄漏处理

最新推荐文章于 2024-10-02 19:38:51 发布
最新推荐文章于 2024-10-02 19:38:51 发布
阅读量372 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42992109/article/details/103642664
版权

项目背景：采集数据的爬虫，包裹数据的采集，储存，验证码识别

使用到的工具：objgraph

使用：objgraph.show_growth()

tuple 379516 +38098
list 114790 +11333
dict 96267 +7956
builtin_function_or_method 33475 +2857
weakref 35287 +2796
Operation 16950 +1784
_InputList 16950 +1784
Tensor 16798 +1768
TF_Output 16721 +1760
Dimension 11913 +1254

分析流程

先在 数据采集模块 隔一段时间 打印一下增长情况，
观察发现 没有内存泄漏

然后去数据储存模块 打印增长情况，
依旧没有内存泄漏

在就剩下验证码识别模块了，用的tensorflow2.0，果然每次识别，
对象都会增长很多，
分析代码后 发现 每次识别的时候都加载一次模型，那肯定增长的厉害呀，处理下，
继续观察，依然存在增长情况，但是没有之前那么验证，去官网查看了下，

解决方案：每次使用完模型需要clear_session，然后测试程序，完美解决

你被强化了快跑
关注
专栏目录
Python中的内存泄漏及其分析方法
UkyzJava的博客
09-23 1540
缓存对象未正确管理：在某些情况下，为了提高性能，程序会使用缓存来存储一些对象。对象引用未释放：当一个对象不再被使用时，如果其引用计数没有归零，垃圾回收机制无法回收该对象所占用的内存。对象引用未释放：当一个对象不再被使用时，如果其引用计数没有归零，垃圾回收机制无法回收该对象所占用的内存。内存泄漏是一个常见的编程问题，它指的是程序在使用完内存后未正确释放，导致内存占用不断增加，最终耗尽系统资源。内存泄漏是一个常见的编程问题，它指的是程序在使用完内存后未正确释放，导致内存占用不断增加，最终耗尽系统资源。
解决Python内存泄漏问题
ByteHackerX的博客
09-20 526
内存泄漏的原因可以是多种多样的，但最常见的原因是对象的引用计数不正确。当一个对象不再被使用时，如果没有正确地释放对该对象的引用，那么它将继续占用内存空间，从而造成内存泄漏。总结起来，解决Python内存泄漏问题的关键是正确地管理对象的引用计数和及时释放不再使用的资源。全局变量：全局变量在整个程序的生命周期内都存在，如果全局变量引用了大量的数据对象，而这些对象在使用完后没有被正确地释放，就会导致内存泄漏。循环引用：当两个或多个对象相互引用时，如果它们之间的引用没有被正确地释放，就会导致内存泄漏。
python内存泄漏解决
weixin_40777649的博客
04-21 1646
a.循环引用：当两个或多个对象相互引用时，如果没有妥善地处理，可能会导致内存泄漏。如果在程序中使用了大量的全局变量，或者没有及时释放不再使用的全局变量，可能会导致内存泄漏。c.长期运行的进程：长期运行的进程可能会因为长时间的运行而导致内存泄漏。例如，在一个循环中创建大量的对象，但没有及时释放，就会导致内存泄漏。如果在C代码中使用了动态分配的内存，但没有及时释放，就会导致内存泄漏。d.第三方库：使用第三方库时，如果没有正确地管理资源，可能会导致内存泄漏。例如，打开文件、数据库连接等资源没有正确关闭。
python 开发中识别和解决内存泄漏的技巧
最新发布
汪子熙的专家技术分享
10-02 1059
Python 的内存管理机制虽然相对自动化，但依然可能因为全局变量、循环引用、文件未关闭以及不当使用缓存等原因引发内存泄漏。为了解决这些问题，开发者可以通过合理的代码设计，以及使用工具如gc模块、objgraph和来检测和解决内存泄漏问题。
Python的内存泄漏
m0_47425649的博客
07-28 234
内存泄漏到底是在内存下面凿了一个多大的洞？ 内存泄漏是指，因为疏忽或者错误，使程序未能释放已经不再使用的内存的情况。内存泄漏并不是指得物理意义上的内存消失，而是因为应用程序在分配某段内存后，由于设计错误，失去了对该段内存的控制，因而导致了内存上的浪费。导致程序运行速度减慢甚至导致系统崩溃等严重后果 # 有__del__()函数的对象间的循环引用是导致内存浪费的主凶 # 不使用一个对象时使用 del object 来删除一个对象的引用计数就可以有效的防止内存泄漏问题 通过 Python 扩展模块 gc 来查
python 内存泄漏分析工具_总结python 三种常见的内存泄漏场景
weixin_39703982的博客
11-28 310
概要不要以为 Python 有自动垃圾回收就不会内存泄漏，本着它有“垃圾回收”我有“垃圾代码”的精神，现在总结一下三种常见的内存泄漏场景。无穷大导致内存泄漏如果把内存泄漏定义成只申请不释放，那么借着 Python 中整数可以无穷大的这个特点，我们一行代码就可以完成内存泄漏了。i = 1024 ** 1024 ** 1024循环引用导致内存泄漏引用记数器 是 Python 垃圾回收机制的基础，如果一...
对python程序内存泄漏调试的记录
01-20
调试python程序时，用下面这段代码，可以获得进程占用系统内存值。程序跑一段时间后，就能画出进程对内存的占用情况。 def memory_usage_psutil(): # return the memory usage in MB import psutil,os process =...
记录一次关于python内存泄露的排查！
梦在硅谷的博客
01-19 2677
一般情况下只有需要长期运行的项目才会去关注内存的增长情况，即使是很小部分的内存泄露经过长期的运行仍然会产生很大的隐患。python本身也是支持垃圾的自动回收的，但是在特定的情况下也是会出现内存泄露的问题的。比如对于很多全局的列表(list)/字典(dict)等对象在经过不断的数据赋值而没有进行手动回收，或者某些对象被不停的循环引用而不能及时的进行回收等都会产生内存泄露的情况。
Python内存泄漏和内存溢出的解决方案
09-27
虽然Python有内置的垃圾回收机制，但仍然可能出现内存泄漏和内存溢出的问题，影响程序的稳定性和效率。 **一、Python内存泄漏** 内存泄漏通常是由于以下几个原因引起的： 1. **C扩展模块的内存泄漏**：使用C语言...
Python之内存泄漏问题
tangsiqi130的博客
12-22 922
python内存泄漏
python list 内存泄漏_05 python内存泄漏
weixin_28752627的博客
01-13 330
python内存泄露起因内存泄露指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。内存泄漏并非指内存在物理上的消失，而是应用程序分配某段内存后，由于设计错误，失去了对该段内存的控制，因而造成了内存的浪费。导致程序运行速度减慢甚至系统崩溃等严重后果。有 del() 函数的对象间的循环引用是导致内存泄漏的主凶方案不使用一个对象时使用:delobject 来删除一个对象的引用计数就可以有效防止内...
总结python 三种常见的内存泄漏场景
01-19
概要 不要以为 Python 有自动垃圾回收就不会内存泄漏，本着它有“垃圾回收”我有“垃圾代码”的精神，现在总结一下三种常见的内存泄漏场景。 无穷大导致内存泄漏 如果把内存泄漏定义成只申请不释放，那么借着 Python 中整数可以无穷大的这个特点，我们一行代码就可以完成内存泄漏了。 i = 1024 ** 1024 ** 1024 循环引用导致内存泄漏 引用记数器 是 Python 垃圾回收机制的基础，如果一个对象的引用数量不为 0 那么是不会被垃圾回收的，我们可以通过 sys.getrefcount 来得到给定对象的引用数量。 In [1]: import sys
python内存泄漏，python垃圾手动回收，1
weixin_34153893的博客
12-17 258
部署的舆情系统，内存变大，找原因。 一个小例子。 def func():     local_list = list(range(10000000))   func() time.sleep(200)   能够观察到，在sleep 200秒的时间内，程序的内存一直是200多M，虽然是函数局部变量，执行后在外部无法使用了，但仍然占据大内存。     再来一个 global_l...
Python列表推导内存泄漏
weixin_34356138的博客
09-17 273
在Python2中的列表推导式中for关键字的赋值操作会对声明的变量产生影响 例如下边的Python2控制台交互 >>> x = 'init' >>> y = [x for x in 'ABC'] >>> x C 复制代码列表推导中的变量x将声明的x覆盖了。这个问题在python3中已经被修复了，表达式内部的变量和赋值，只在局部起作用，表达式上...
python list 内存泄漏_总结python 三种常见的内存泄漏场景
weixin_35981295的博客
01-28 445
概要不要以为 Python 有自动垃圾回收就不会内存泄漏，本着它有“垃圾回收”我有“垃圾代码”的精神，现在总结一下三种常见的内存泄漏场景。无穷大导致内存泄漏如果把内存泄漏定义成只申请不释放，那么借着 Python 中整数可以无穷大的这个特点，我们一行代码就可以完成内存泄漏了。i = 1024 ** 1024 ** 1024循环引用导致内存泄漏引用记数器 是 Python 垃圾回收机制的基础，如果一...
Python中的内存泄漏：定义、技术难点、面试官关注点、回答吸引力与代码举例
2401_84909321的博客
06-13 336
在Python中，内存泄漏是指程序中已分配的内存块在不再需要时没有被正确地释放，导致系统内存的浪费，并可能最终导致程序运行缓慢、崩溃或系统资源耗尽。虽然Python本身带有内存管理机制（如引用计数和垃圾回收），但在某些情况下，如循环引用或使用了外部库时，内存泄漏仍可能发生。为了防止这种情况，我们可以使用。
python分配_Python 内存分配时的小秘密
weixin_39526238的博客
11-29 135
Python 中的sys 模块极为基础而重要，它主要提供了一些给解释器使用（或由它维护）的变量，以及一些与解释器强交互的函数。本文将会频繁地使用该模块的getsizeof() 方法，因此，我先简要介绍一下：该方法用于获取一个对象的字节大小（bytes）它只计算直接占用的内存，而不计算对象内所引用对象的内存这里有个直观的例子：import sysa = [1, 2]b = [a, a] # 即 [...
python 内存监控工具_如何监视Python程序的内存使用情况
05-20
Python有一个内置的模块`tracemalloc`可以用来监视Python程序的内存使用情况。...这个例子只是一个简单的示例，实际上，你可以根据自己的需求进行更加复杂的内存监控，比如定时记录内存使用情况、记录内存泄漏等等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值