python线程执行完后释放内存_请教 Python 多线程内存不释放怎么排查

博主遇到一个Python多线程爬虫程序,在所有线程执行完毕后,内存占用高达1.5GB且未释放。使用pympler进行分析,发现在线程结束时,dict、list、str等类型的对象数量大幅增加,特别是dict增长到202860个,占据43.69MB内存。问题可能是由于全局变量、引用计数错误或者闭包导致的内存泄漏。
摘要由CSDN通过智能技术生成

新手写了一个多线程的爬虫,所有线程都执行完了,但是一直占着 1.5GB 的内存(任务数越多不释放的内存越多)

不知道怎么排查哪里出问题,pympler 看不太懂问题到底出在哪里,请教该如何正确的排查问题

执行多线程函数的代码:

def mainfunc(tasknum, thread):

tr = tracker.SummaryTracker()

tr.print_diff()

list = []

for i in range(tasknum):

list.append(str(i))

pool = threadpool.ThreadPool(thread)

requests = threadpool.makeRequests(childfunc, list)

for req in requests:

pool.putRequest(req)

pool.wait()

tr.print_diff()

tr.print_diff()打印的内容

初始化:

types | # objects | total size

========================== | =========== | ============

list | 3741 | 350.84 KB

str | 3739 | 260.01 KB

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值