[python基础]生产者消费者模型

生产者消费者模型

在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题

该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度

为什么要使用生产者消费者模型

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程

在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据**(供过于求)**

如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式**(供不应求)**

什么是生产者消费者模型

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合(代码间关联性太强)问题

生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dSAb566P-1603940502383)(C:\Users\13412\Desktop\无标题1.png)]

基于队列实现的生产者消费者模型

import multiprocessing
import time
import os


def produce(f_n, q):
    for i in range(10):
        time.sleep(1)
        ret = '%s%s' % (f_n, i)
        q.put(ret)
        print("工作线{}".format(os.getpid()), '生产了' + ret)


def consumer(q):
    while True:
        res = q.get()
        # 如果消费者已经将食物消费完了
        if not res:
            break
        time.sleep(1)
        print("销售线{}".format(os.getpid()), '售出了' + res)


if __name__ == '__main__':
    food_s = ['包子', '饺子', '馒头']
    content_s = list()
    q = multiprocessing.Queue()
    for food in food_s:
        t = multiprocessing.Process(target=produce, args=(food, q))
        t.start()
        content_s.append(t)
    time.sleep(1)

    c = multiprocessing.Process(target=consumer, args=(q, ))
    c.start()

    for content in content_s:
        content.join()

    # 有几个消费者就需要给堵塞队列发送几个结束信号
    q.put(None)

采用JoinableQueue队列实现生产者消费者模型

import multiprocessing
import time
import os


def produce(f_n, q):
    for i in range(10):
        time.sleep(1)
        ret = '%s%s' % (f_n, i)
        q.put(ret)
        print("工作线{}".format(os.getpid()), '生产了' + ret)
    q.join()


def consumer(q):
    while True:
        res = q.get()
        time.sleep(1)
        print("销售线{}".format(os.getpid()), '售出了' + res)
        q.task_done()


if __name__ == '__main__':
    food_s = ['包子', '饺子', '馒头']
    content_s = list()
    q = multiprocessing.JoinableQueue()
    for food in food_s:
        t = multiprocessing.Process(target=produce, args=(food, q))
        t.start()
        content_s.append(t)
    time.sleep(1)

    c = multiprocessing.Process(target=consumer, args=(q, ))
    c.daemon = True
    c.start()

    for content in content_s:
        content.join()

    q.put(None)

    print("主线程调用结束")

c.start()

for content in content_s:
    content.join()

q.put(None)

print("主线程调用结束")