python多进程编程 多个函数并发执行_Python的并发编程(六)- 多进程

之前学习了多线程以及线程池,他们在执行I/O密集的程序的时候,性能是很高的,但是如果我们有大量的CPU密集型工作的程序,现在想利用多个CPU的优势运行的更快,应该怎么解决呢?

这时候,就不能使用多线程了,而是需要真正的并行来解决问题。

在concurrent.futures库中提供了一个ProcessPoolExecutor类,可用来在单独运行的python解释器实例中执行计算密集的函数。

ProcessPoolExecutor的典型用法是下面这样的:

from concurrent.futures import ProcessPoolExecutor

with ProcessPoolExecutor() as pool:

"""

在进程池pool中并行执行任务

"""

在底层,ProcessPoolExecutor创建了N个独立运行的Python解释器,这里的N就是系统上检测到的可用的CPU个数。可以创建和修改Python的进程数,只要给ProcessPoolExecutor(N)提供一个可选的参数。进程池会一直运行,直到with语句块中的最后一条语句执行完毕为止,此时进程池就会关闭。但是程序会一直等待所有已经提交的任务都处理完毕为止。

提交到进程池中的任务必须定义为函数形式。有两种方法可以提交任务。如果想并行处理一个列表推导式或者map()操作,可以使用pool.map():

from concurrent.futures import ProcessPoolExecutor

def work(x):

"""任务逻辑"""

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值