[debug] python 内存不能释放

已于 2023-03-06 16:26:35 修改
阅读量561 收藏 1
点赞数 1
分类专栏： 我的科研之路~ 其他 文章标签： python gc 内存
于 2023-03-06 16:23:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36160277/article/details/129365281
版权
Python程序在处理大量数据时，可能出现gc无法自动释放内存的情况。即使调用`gc.collect()`，16GB数据仍驻留在内存中，直到进程退出。这可能涉及到Python的引用计数机制和垃圾回收策略。要明确释放内存，可能需要确保所有对象都不再被引用，或者使用特定的数据结构和内存管理工具。
摘要由CSDN通过智能技术生成

python 内存不能释放

问题

为啥python的gc不能释放内存呢？这个是正常现象吗？

  1. 我开了一个python的命令行来创建了大概16G的数据
  2. 我在终端中调用 的del a; gc.collect(); 这16G的内存还存着 不能释放
  3. 只有exit() 之后才能清理内存

https://img-mid.csdnimg.cn/release/static/image/mid/ask/807805980876195.png

https://img-mid.csdnimg.cn/release/static/image/mid/ask/10430398087619.png

回答

下面这个方法目测可以：
我怎样才能在Python中明确释放内存？ |

在这里插入图片描述

python线程执行完后释放内存_请教 Python 多线程内存不释放怎么排查
weixin_39696518的博客
11-26 1005
新手写了一个多线程的爬虫，所有线程都执行完了，但是一直占着 1.5GB 的内存（任务数越多不释放的内存越多）不知道怎么排查哪里出问题，pympler 看不太懂问题到底出在哪里，请教该如何正确的排查问题执行多线程函数的代码：def mainfunc(tasknum, thread):tr = tracker.SummaryTracker()tr.print_diff()list = []for i ...
【笔记】Python进程使用内存后不释放
tianc777的博客
02-14 3289
使用python进行大量的文件IO读写，压缩，复制，数据操作过程中RES占用（0.2G-5G，Python的GC会频繁地malloc/free），发现RES内存不释放。 排查代码后，没有发现内存泄露的情况（实际上有泄露，但是修改代码后，依然没有解决本文的问题），GC也是默认开启的。 使用tracemalloc,objectgraph调试，Python对象的产生和释放并没有啥异常，我们使用的是大对象，应该也不会被Python缓存。 考虑到代码中使用pandas.DataFrame，Google发现类似的问题
python查看哪些内存被释放_python内存不释放原理 | shell's home
weixin_39522698的博客
12-08 631
在maillist里面看到无数次的有人问，python速度为什么这么慢，python内存管理很差。实话说，我前面已经说过了。如果你在意内存/CPU，不要用python，改用C吧。就算C不行，起码也用个go或者java。不过今天还是说说，python的内存为什么不释放。首先，python的初始内存消耗比C大，而且大很多。这个主要来自python解释器的开销，没什么好解释的。用解释器，就得承担解释器运...
Python进程使用内存后不释放
Rnan_prince的博客
12-05 7110
背景： 使用python进行大量的数据操作过程中RSS占用（几个G，Python的GC会频繁地malloc/free），发现RSS内存不释放。 排查代码后，没有发现内存泄露的情况，GC也是默认开启的，甚至代码将数据库数据读出来遍历一遍后程序结束，内存一直存在不释放。 使用tracemalloc,objectgraph调试，Python对象的产生和释放并没有啥异常。 Python的对象内存管理是基于引用计数的（refcnt为0直接decref回收），python内存池也没发现大内存驻留，操作系统brk
python需要手动释放内存吗_Python没有释放内存
weixin_39788986的博客
12-16 422
I've been working with XML resources, and it seems that Python is issuing a weird behavior. I've tested both lxml library and xml.etree.ElementTree, both holding memory after it should be collected by...
谈谈如何手动释放Python的内存
09-21
本文将深入探讨Python内存管理机制，以及如何手动释放内存。 Python的内存管理主要由垃圾收集器（Garbage Collector，简称GC）负责。当一个对象没有被任何变量引用时，GC会自动回收该对象所占用的内存。然而，对于...
python释放内存代码_释放python中所有使用的内存 - python
weixin_39639286的博客
12-19 3950
设定：我正在运行python代码，其中：我打开一个文件。对于文件中的每一行，我创建一个对象对对象进行一些操作请注意，一旦完成操作部分，就不再需要该对象。每条新线都是独立的。根据要求的相关代码：我已经注释了我代码的所有部分，将下面的代码留在下面：import gcfor l in range(num_lines):inp = f.readline()[:-1]collector = [int(i) ...
python opencv3会自动释放内存吗_【OpenCV】有关内存释放的一些问题
weixin_39963287的博客
12-17 1592
前一天把系统整个重写了一遍，脉络清晰了很多，也终于解决了以前很多崩溃，异常退出的问题。这里小小总结一下自己遇到的麻烦。1、内存泄露内存泄露是说没有释放已经不能使用的内存，这里一般指堆的内存才需要显示的释放。比如用malloc，calloc，realloc，new分配的 内存是在堆上的，需要用free，delete显示的回收。内存泄露最明显的一是程序很慢，在运行程序时你可以启动任务管理器，会看到程序...
python内存持续增长_Python 进程内存增长解决方案
weixin_33600376的博客
12-24 2256
一、表现运行环境：# uname –aLinux **3.10.0-327.el7.x86_64#1 SMP Thu Nov 19 22:10:57 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux# python2 –version# cat /etc/*-releaseCentOS Linux release 7.2.1511 (Core)python进程在大...
粗略分析Python中的内存泄漏
12-24
之前一直盲目的认为 Python 不会存在内存泄露, 但是眼看着上线的项目随着运行时间的增长 而越来越大的内存占用, 我意识到我写的程序在发生内存泄露, 之前 debug 过 logging 模块导致的内存泄露. 目前看来, 还有别的...
python(63): dict: del/pop不释放内存
最新发布
Python开发分享的博客
06-25 481
Python中的字典，只有不再使用的时候才会释放对应的内存。在使用 pop 或者 delete 删除字典中的item(或者说entry)后，为了保证hash table 探测链的完整，那个被删除的entry只是被标记成了空，并没有真正被删除掉，所以该字典的内存占用没有得到释放。这是为了避免多度重建hash table。
python内存怎么存方法_手动释放Python的内存的方法
weixin_32001433的博客
01-29 653
在上文的优化中，对每500个用户，会进行一些计算并记录结果在磁盘文件中。原本以为这么做，这些结果就在磁盘文件中了，而不会再继续占用内存；但实际上，Python的大坑就是Python不会自动清理这些内存。这是由其本身实现决定的。具体原因网上多有文章介绍，这里就不copy了。本篇将贴一个笔者的实验脚本，用以说明Python确实存在这么一个不释放内存的现象，另外也提出一个解决方案，即：先del，再显式调...
python可以用del释放资源_python del没有释放所有内存
weixin_39655377的博客
11-20 359
6.5. The del statementdel_stmt ::= "del" target_listDeletion is recursively defined very similar to the way assignment isdefined. Rather than spelling it out in full details, here are somehints.Delet...
linux中python不自动释放内存吗_Python无法在Linux中释放内存
weixin_39716521的博客
12-19 325
我在两年前看到过一些相关的问题，但我想知道最近是否有解决办法。在我有一本大词典。我的内存中大约有4个字典(每个字典的大小为500MB)。当我继续运行这个程序时，我需要删除这4个字典中的一个并将内存释放给操作系统。因此，我不可能像以前的一些文章中提到的那样开始内存分配的新子进程。在下面是一些代码来说明这个问题：import cPickleimport resourceimport gcimport ...
python 内存回收,Python垃圾回收：不再需要的内存不释放给OS？
weixin_36244383的博客
03-25 212
我用烧瓶写了一个应用程序，用芹菜来完成一个长期运行的任务。在进行负载测试时，我注意到芹菜任务即使在完成任务后也不会释放内存。所以我在谷歌上找到了这个小组讨论。。在在讨论中，它说，这就是python的工作原理。在“但是从操作系统的角度来看，程序的大小是分配给Python的总(最大)内存。由于Python只在Windows上将内存返回给堆上的操作系统(分配小对象以外的其他对象)，因此如果您运行在Lin...
当退出python时是否释放全部内存_python – 当实例被销毁时,为什么tkinter不释放内存？...
weixin_39942726的博客
11-23 607
我想要一个快速而又脏的方法来获取一些文件名而无需在我的shell中输入,所以我有以下代码：from tkinter.filedialog import askopenfilefile = askopenfile()现在一切正常,但它确实创建了一个需要关闭的多余的tkinter GUI.我知道我可以这样做来压制它：import tkinter as tktk.Tk().withdraw()但这并不意...
如何释放Python占用的内存？Python内存释放方法总结
热门推荐
devid008的博客
04-29 1万+
Python有自动垃圾回收机制,可以定期回收不再使用的对象所占用的内存。但是,如果对象之间存在循环引用,则需要手动断开循环来让垃圾回收机制回收内存。这里总结几种常用的Python内存释放方法。
python可以用del释放资源_谈谈如何手动释放Python的内存
weixin_39657575的博客
11-20 409
在上篇博客中，提到了对一个脚本进行的多次优化。当时以为已经优化得差不多了，但是当测试人员测试时，我才发现，踩到了Python的一个大坑。在上文的优化中，对每500个用户，会进行一些计算并记录结果在磁盘文件中。原本以为这么做，这些结果就在磁盘文件中了，而不会再继续占用内存；但实际上，Python的大坑就是Python不会自动清理这些内存。这是由其本身实现决定的。具体原因网上多有文章介绍，这里就不co...
python 多进程 异常中断 无捕获异常 内存泄漏
weixin_41723147的博客
06-28 683
进程A不断接收多个外端链接请求处理并返回结果 出于处理效率考虑 使用多进程方式来处理 运行一段时间发现 不定时 随机性 某个外端链接会异常中断 两端的traceback.format_exc() 都捕获不到异常报错 导致A的子进程无法正常退出 内存泄漏 ，但是其他请求还能正常处理 积累一段时间后程序就报错无法再分配内存异常GG 请问可能是什么原因呢 多进程部分代码如下 try: multiprocessing.freeze_support() pool = multiprocessing.Pool() c
Python内存管理详解：架构与调试模式
Python内存管理分为两套实现，一套用于调试，另一套是日常使用的默认机制，文章主要聚焦后者。 首先，Python内存管理的基础是操作系统提供的内存接口，如C运行时的malloc和free，这部分由操作系统底层直接负责，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>