Python ThreadPoolExecutor 线程池导致内存暴涨[转发]
Python ThreadPoolExecutor 线程池导致内存暴涨原文来源:https://www.cnblogs.com/xiaoweigege/p/15243893.html背景在工作任务中需要取抓取的时候,目前采用的是线程池去抓取,最终导致内存暴涨。原因Threadpoolexcutor默认使用的是无界队列,如果消费任务的速度低于生产任务,那么会把生产任务无限添加到无界队列中。导致内存被占满解决方案修改无界队列为有界队列from concurrent.futures import
转载
2022-05-05 15:36:23 ·
948 阅读 ·
0 评论