进程池提升效率

python ThreadPool线程池的运用

执行以下计算逻辑，阻塞，同步执行，发现特别慢，进行优化一下

qs = [i for i in range(200)]

def calculate_num(item):
    """费时操作（eg: 查询并计算）"""
    print(item)


for item in qs:
    calculate_num(item)

使用进程池，并发执行任务，速度直接提升2倍不止（服务器配置越高，处理速度越快）

from multiprocessing.pool import ThreadPool

qs = [i for i in range(200)]
pool = ThreadPool()  # 创建一个线程池, processes=None时,返回 os.cpu_count() or 1
# pool.map(self.calculate_num, qs)  # 往线程池中填线程
pool.map_async(calculate_num, qs)  # 往线程池中异步填线程
pool.close()  # 关闭线程池，不再接受线程
pool.join()  # 等待线程池中线程全部执行完

查看当前机器的cpu核数

import os
c = os.cpu_count()
print(c)