python asyncio-生产者消费者模式

在多线程的编程模式下生产者消费模式是非常容易理解的。n个生产者线程，对应m个消费者线程，然后使用队列将数据串起来。那么在python的Asyncio模式下，没有多线程，所有任务都是单线程完成的，我们如何完成生产者消费者模式的编程呢？其实我们只需要把一个conroutine当作一个线程的任务，然后将这些任务交给event loop即可。

这里我准备了一个比较完善的生产消费者模版，我们直接看代码。

import asyncio
import random

# 生产者任务
async def produce(queue, n):
    for x in range(1, n + 1):
        # produce an item
        print(f'producing {x}/{n}')
        # 模拟io
        await asyncio.sleep(random.random())

        # put the item in the queue
        await queue.put(x)

# 消费者任务  
async def consume(queue):  
    while True:  
        # 等待获取一个item  
        item = await queue.get()  
  
        # 模拟io操作  
        print(f'consuming {item}...')  
        await asyncio.sleep(random.random())  
  
        # 通知队列，这个item已经被消费了  
        queue.task_done()  
  
  
async def run(n):  
    # 指定队列大小，队列最好大于等于消费者的数量，避免消费者空闲  
    queue = asyncio.Queue(maxsize=3)  
  
    # 创建3个消费者，可根据实际并发情况创建消费者数量
    # 注意asyncio.create_task，会创建一个task,并将其加入调度  
    consumers = [asyncio.create_task(consume(queue)) for _ in range(3)]  
  
    # 等待生产者执行完毕，如果生产者执行了await，那么event loop将有可能调度消费者执行消费  
    await produce(queue, n)  
    # 队列内所有item都被消费  
    await queue.join()  
  
    # 注意！到这一步，所有的consumer 应该都会卡在 await queue.get()
    #所以我们需要取消掉所有的consumer，如果你的任务比较简单，这一步可以忽略
    # 如果后续还有其他任务，那么你最好是取消掉consumer以释放资源。  
    for consumer in consumers:  
        consumer.cancel()  
  
    # 这一步配合上面的cancel，确保所有的consumer都被取消掉了，然后进行后续操作。
    # return_exceptions=True 代表允许task异常，如果不加，则会向上抛出异常。  
    await asyncio.gather(*consumers, return_exceptions=True)  
  

asyncio.run(run(10))