【python】33_生成器案例之生产者消费者模型

【摘要】通过前两篇博文的介绍，相信读者一定对生成器有了基本的掌握。在这篇博文中我将介绍生产者消费者模型是什么，并用生成器实现这个模型，相当于补充强化，也算是回顾一下《操作系统》中生产者消费者模型的内容。

1. 生产者消费者模型的简介

生产者消费者模型当中有两大类重要的角色，一个是生产者（负责造数据的任务），另一个是消费者（接收造出来的数据进行进一步的操作）。

1. 为什么要使用生产者消费者模型？
在并发编程中，如果生产者处理速度很快，而消费者处理速度比较慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个等待的问题，就引入了生产者与消费者模型。让它们之间可以不停的生产和消费。

2. 实现生产者消费者模型三要素：

1. 生产者

2. 消费者

3. 队列（或其他的容器，但队列不用考虑锁的问题）

3. 什么时候用这个模型？

程序中出现明显的两类任务，一类任务是负责生产，另外一类任务是负责处理生产的数据的（如爬虫）

4. 用该模型的好处？

1. 实现了生产者与消费者的解耦和

2. 平衡了生产力与消费力，就是生产者一直不停的生产，消费者可以不停的消费，因为二者不再是直接沟通的，而是跟队列沟通的。

2.用生成器实现生产者消费者模型

这里我们拟实现一个苹果公司生产手机以及消费者购买手机的过程，这个模型的三要素是生产者、消费者以及缓冲区（我们选用队列，因为队列的工作方式是先进先出）
队列的实现选用从后面进，前面出。即
先进: list.append(element)
先出: element = list.pop(0)
当然也可以选用从前面仅，后面出，都可以。
先进：list.insert(0,element)
先出：element = list.pop( )

判断缓冲区是否已满：

import  time
import  random

cacheList = []
# # 设置缓冲区的最大长度, 当缓冲区到达最大长度， 那么生产者就不能再生产了
cacheListLen = 2

def is_full():
    """
    判断缓冲区队列是否已经满了
    :return:
    """
    return  len(cacheList) == cacheListLen

生产者：

def Producer(name):
    """
    生产者, 主要用于生产数据
    :return:
    """
    while True:
        if not is_full():
            print("生产者[%s]正在生产苹果手机....." %(name))
            # 模拟生产者生产数据需要的时间, 随机休眠0～1秒,
            time.sleep(random.random())
            print("[%s] 已经生产苹果手机完成" %(name))
            # 将生产的游戏机放入缓冲区
            cacheList.append('苹果手机')
        else:
            print("缓存已满！请停止生产")
            yield

消费者：

def Consumer(name):
    """
    消费者， 用于处理/消费数据
    :return:
    """
    print("【%s】正在准备购买苹果手机" %(name))
    while True:
        item = yield
        print("【%s】购买%s成功" %(name,item))

调用代码：

# producer是一个生成器
producer = Producer("苹果公司")
next(producer)

# 列表生成式, 生成消费者
consumers = [Consumer("消费者%s" %(i+1)) for i in range(3)]

# 依次遍历所有的消费者， 给提供手机
for consumer in consumers:
    if not cacheList:
        print("目前商店没有手机库存.....")
    else:
        #如果缓冲区不满，先生产，再提供消费
        if not is_full():
            next(producer)
            item = cacheList.pop(0)
            next(consumer)
            consumer.send(item)
        else:
            item = cacheList.pop(0)
            next(consumer)
            consumer.send(item)

执行结果如下：

理解代码执行流程：

• producer = Producer(“苹果公司”)
  调用生产者Producer这个函数，得到一个producer生成器

• next(producer)
  通过next调用这个生成器，直到yeild关键字出现，停止执行代码
  进入到producer这个生成器代码中，首先执行if not is_full( )，判断缓冲区是否已满，如果没有满就一直生产；满了之后，打印“缓存已满！请停止生产”，并停止到yield关键字处。

• consumers = [Consumer(“消费者%s” %(i+1)) for i in range(3)]
  这是一个列表生成式，调用三次消费者Consumer这个函数，得到三个生成器以列表的形式存储在consumers列表中。这里也可以使用（），生成一个consumers生成器，里面存放三个生成器。两种方法都是可以的

• for consumer in consumers
  使用for循环遍历这个列表，依次拿到这三个消费者生成器。
  每拿到一个，先判断缓冲器是否还有库存，如果没有库存，打印“目前商店没有手机库存…”；
  如果有库存，先判断缓冲区是否已满，如果不满，先next(producer)，执行生产者这个生成器，缓冲区满后遇到yield停止返回调用代码，再执行item = cacheList.pop(0)，拿出缓冲区（队列中）的第一个元素，再next(consumer)调用消费者的生成器，打印“消费者正在准备购买苹果手机”，进入死循环，遇到yield停止执行，返回调用代码。再执行consumer.send(item)，将缓冲区拿到的第一个元素通过send方法，传递给consumer这个生成器的上一个yield关键字之前的变量item，执行print("【%s】购买%s成功" %(name,item))

这个代码还存在很多不足之处，但是重点是理解生产者消费者模型，以及理解这个代码的流程。