SmallTankPy的博客

原创 Python 线程池/进程池 内存管理

concurrent.futures 线程池/进程池内存管理起因之前进行爬虫任务的时候遇到了这么一个需求，1G 内存的机器跑爬虫，爬取一个网站的数据，之前使用的是这样一种方式： futures = list() with ThreadPool(max_workers=20) as exc: for tr in table.select("tr"): # 取线程执行结