之前学习了多线程以及线程池,他们在执行I/O密集的程序的时候,性能是很高的,但是如果我们有大量的CPU密集型工作的程序,现在想利用多个CPU的优势运行的更快,应该怎么解决呢?
这时候,就不能使用多线程了,而是需要真正的并行来解决问题。
在concurrent.futures库中提供了一个ProcessPoolExecutor类,可用来在单独运行的python解释器实例中执行计算密集的函数。
ProcessPoolExecutor的典型用法是下面这样的:
from concurrent.futures import ProcessPoolExecutor
with ProcessPoolExecutor() as pool:
"""
在进程池pool中并行执行任务
"""
在底层,ProcessPoolExecutor创建了N个独立运行的Python解释器,这里的N就是系统上检测到的可用的CPU个数。可以创建和修改Python的进程数,只要给ProcessPoolExecutor(N)提供一个可选的参数。进程池会一直运行,直到with语句块中的最后一条语句执行完毕为止,此时进程池就会关闭。但是程序会一直等待所有已经提交的任务都处理完毕为止。
提交到进程池中的任务必须定义为函数形式。有两种方法可以提交任务。如果想并行处理一个列表推导式或者map()操作,可以使用pool.map():
from concurrent.futures import ProcessPoolExecutor
def work(x):
"""任务逻辑"""