concurrent.futures ProcessPoolExecutor 多进程通信

最新推荐文章于 2024-09-17 09:24:27 发布

Yqiu.32

最新推荐文章于 2024-09-17 09:24:27 发布

阅读量2.9k

点赞数

本文链接：https://blog.csdn.net/qq_34336037/article/details/102621128

版权

本文探讨了Python中concurrent.futures模块下的ProcessPoolExecutor如何用于多进程任务处理，通过示例展示了使用Manager中的Queue进行进程间通信的方法，包括submit和map两种方式。

摘要由CSDN通过智能技术生成

concurrent.futures ProcessPoolExecutor多进程通信
一般的多进程通信可以采用 queue,pipe,信号量等方式进行，

这里的多进程包使用队列queue通信只能使用multiprocessing.Manages中的 Queue进行通信
例：
from concurrent.futures import ProcessPoolExecutor
from multiprocessing import Manager
from functools import partial

submit 方式：
def func(q, i):
print(i)
q.put(i)

if name == ‘main’:
print(‘start’)
q = Manager().Queue()
pool = ProcessPoolExecutor(10)
s = range(10)
for i in s:
pool.submit(func,q, i)
pool.shutdown(wait=True)
print(‘end…’)
map方式：

def func(q, i):
print(i)
q.put(i)

if name == ‘main’:
print(‘start…’)
q = Manager().Queue()
new_func = partial(func, q)#使用偏函数，固定队列q
pool = ProcessPoolExecutor(10)
s = range(10)
pool.map(new_func, s)
pool.shutdown(wait=True)
print(‘end…’)