Python并行编程(八)：多进程对象交换之队列实现生产者-消费者模型

进程的对象交换

当我们进行并行应用的开发需要数据交换时，multiprocess模块有两个通信通道用来管理对象的交换，即对队列和管道。就像之前我们在线程中的使用一样，可以利用队列进行数据交换，它在线程和进程里面都是安全的，任何可序列化对象都可以通过队列进行交换。

生产者-消费者模型

我们同样可以利用进程中的队列实现该模型：

import multiprocessing
import random
import time
from multiprocessing import Queue

# 定义一个进程的队列
def producer(q):
    while True:
        time.sleep(2)
        # 假定商品序号
        item = random.randint(1, 10)
        print('process producer product goods:{}'.format(item))
        q.put(item)
        time.sleep(2)

def consumer(q):
    while True:
        # 即队列中仍然有商品就继续消费，否则等待
        if not q.empty():
            # 消费商品：
            item = q.get()
            print('process cusumer get goods:{}'.format(item))
            time.sleep(1)
        else:
            print('wait for goods...')
            time.sleep(1)
 

if __name__ == "__main__":
    q = Queue()

    process_producer = multiprocessing.Process(target=producer, args=(q,))
    process_consumer = multiprocessing.Process(target=consumer, args=(q, ))

    process_producer.start()
    process_consumer.start()

    process_producer.join()
    process_consumer.join()

复制代码

运行截图如下：

我们可以看见运行结果，即消费者总是饥饿的等待消费商品，而且消费者也确实是每等待一会儿就可以消费到生产者生产的商品，即队列确实能够在进程中传递数据，而在使用的时候需要注意把需要把定义的队列作为参数传递到需要交换同步数据的进程们中实现真正的在多进程中传递数据。

转载于:https://juejin.im/post/5cb48d98f265da0393785c8c