Python ThreadPoolExecutor 线程池导致内存暴涨[转发]

Python ThreadPoolExecutor 线程池导致内存暴涨

原文来源：https://www.cnblogs.com/xiaoweigege/p/15243893.html

背景

在工作任务中需要取抓取的时候，目前采用的是线程池去抓取，最终导致内存暴涨。

原因

Threadpoolexcutor默认使用的是无界队列，如果消费任务的速度低于生产任务，那么会把生产任务无限添加到无界队列中。导致内存被占满

解决方案

修改无界队列为有界队列

from concurrent.futures import ThreadPoolExecutor
import queue

class ThreadPoolExecutor(ThreadPoolExecutor):
    '''
    重写线程池修改队列数
	'''
    def __init__(self, max_workers=None, thread_name_prefix=''):
        super().__init__(max_workers, thread_name_prefix)
        # 队列大小为最大线程数的两倍
        self._work_queue = queue.Queue(self._max_workers * 2)