问题描述:
最近遇到这样一个问题,要求使用 Python3 ,开辟一个进程池,里面放一个生产者进程,然后其他的都是消费者进程,进程间用 Queue() 进行通信。
问题分析:
问题很好解决,但是要注意一点,就是在使用 Python 的进程池 Pool() 时,Queue() 可能会出错,需要使用 Manager().Queue(), 算是一个坑吧哈,现在总结一下。
Python3实现:
# @Time :2018/08/30
# @Author :LiuYinxing
from multiprocessing import Pool, Manager
import os, time, random
def Producer(q): # 生产者进程
for i in range(50):
print('生产者进程', os.getpid(), '写入队列Q:', i)
q.put(i)
def Consumer(q): # 消费者进程
while True:
time.sleep(random.random() * 2)
try:
print('消费者进程', os.getpid(), '从队列Q读出:', q.get(timeout=5))
except:
print('消费者进程', os.getpid(), '等待时间过长终止')
break
if __name__=='__main__':
print('父进程 id:', os.getpid())
q = Manager().Queue() # 创建 队列
p = Pool(4) # 创建一个进程池
p.apply_async(Producer, args=(q,)) # 向进程池添加进程
for i in range(5):
p.apply_async(Consumer, args=(q,))
print('等待所有子进程准备完成...')
p.close() # 不能再添加进程了
p.join()
print('所有进程完成任务...')