python生产和消费模型_生产者消费者模型

生产者消费者模型是一种编程技巧，所以不限于python而是适用于各类编程语言。

生产者消费者问题，实际上主要是包含了两类线程(或进程)，一种是生产者线程(或进程)用于生产数据，另一种是消费者线程(或进程)用于消费数据，为了解耦生产者和消费者的关系，通常会采用共享的数据区域。

生产者生产数据之后直接放置在共享数据区中，并不需要关心消费者的行为;而消费者只需要从共享数据区中去获取数据，就不再需要关心生产者的行为。但是，这个共享数据区域中应该具备这样的线程(或进程)间并发协作的功能：

1）如果共享数据区已满的话，阻塞生产者继续生产数据放置入内;

2）如果共享数据区为空的话，阻塞消费者继续消费数据;

3）借助Queue的通信功能来实现多进程的生产着消费者模型!

场景：假设你是皇上要临幸爱妃(用girl表示)，皇上作为消费者角色，三宫六院负责产出爱妃(girl)则充当生产者的角色!

# ‐*‐ coding: utf‐8 ‐*‐

from multiprocessing import Queue

from multiprocessing import Process

import random

import time

import os

def produce(queue):

for i in range(5):

print("produce子进程%s生产 girl_%s" % (os.getpid(),str(i)))

queue.put('girl_'+ str(i))

time.sleep(random.randint(0,1))

def consumer(queue):

while True:

if not queue.empty():

girl = queue.get()

if girl != 'man':

print("consumer子进程%s消费 %s" % (os.getpid(),girl))

time.sleep(random.randint(0, 1))

else:

print("consumer子进程%s获取结束信号man" % os.getpid())

break

if __name__ == "__main__":

girls_q = Queue()

p = Process(target=produce,args=(girls_q,))

c = Process(target=consumer,args=(girls_q,))

# 开启生产者、消费者子进程

p.start()

c.start()

# 父进程等待子进程

p.join()

girls_q.put('man')# 放入生产结束的信号

c.join()

print("生产者消费者模型完毕~~~临幸完所有爱妃")

D:installpython3python.exe D:/pyscript/test/test1.py

produce子进程11648生产 girl_0

produce子进程11648生产 girl_1

produce子进程11648生产 girl_2

produce子进程11648生产 girl_3

consumer子进程11016消费 girl_0

consumer子进程11016消费 girl_1

consumer子进程11016消费 girl_2

consumer子进程11016消费 girl_3

produce子进程11648生产 girl_4

consumer子进程11016消费 girl_4

consumer子进程11016获取结束信号man

生产者消费者模型完毕~~~临幸完所有爱妃

Process finished with exit code 0

以上是单个生产者单个消费者的形式，如果是多个生产者多个消费者呢?可以参考如下代码：

# ‐*‐ coding: utf‐8 ‐*‐

from multiprocessing import Queue

from multiprocessing import Process

import random

import time

import os

def produce(queue):

for i in range(5):

print("produce子进程%s生产 girl_%s" % (os.getpid(),str(i)))

queue.put('girl_'+ str(i))

time.sleep(random.randint(0,1))

def consumer(queue):

while True:

if not queue.empty():

girl = queue.get()

if girl != 'man':

print("consumer子进程%s消费 %s" % (os.getpid(),girl))

time.sleep(random.randint(0, 1))

else:

print("consumer子进程%s获取结束信号man" % os.getpid())

queue.put('man') # 放到队列,让其他消费者也能获取man

break

if __name__ == "__main__":

girls_q = Queue()

list_p = [] # 生产者子进程列表

list_c = [] # 消费者子进程列表

# 3个生产者

for i in range(3):

p = Process(target=produce,args=(girls_q,))

list_p.append(p)

# 3个消费者

for i in range(3):

c = Process(target=consumer,args=(girls_q,))

list_c.append(c)

# 开启生产者、消费者子进程

for p in list_p:

p.start()

for c in list_c:

c.start()

# 父进程等待子进程

for p in list_p:

p.join()

girls_q.put('man') # 放入生产结束的信号

for c in list_c:

c.join()

print("生产者消费者模型完毕~~~")

D:installpython3python.exe D:/pyscript/test/test1.py

produce子进程10920生产 girl_0

consumer子进程9432消费 girl_0

produce子进程10920生产 girl_1

produce子进程10920生产 girl_2

produce子进程10920生产 girl_3

produce子进程10920生产 girl_4

consumer子进程3584消费 girl_1

consumer子进程3584消费 girl_2

produce子进程10992生产 girl_0

produce子进程10992生产 girl_1

produce子进程10992生产 girl_2

produce子进程10992生产 girl_3

produce子进程8232生产 girl_0

produce子进程8232生产 girl_1

produce子进程8232生产 girl_2

consumer子进程11760消费 girl_3

consumer子进程9432消费 girl_4

consumer子进程9432消费 girl_0

consumer子进程9432消费 girl_1

consumer子进程9432消费 girl_2

consumer子进程9432消费 girl_3

consumer子进程3584消费 girl_0

produce子进程10992生产 girl_4

produce子进程8232生产 girl_3

consumer子进程11760消费 girl_1

consumer子进程9432消费 girl_2

consumer子进程9432消费 girl_4

consumer子进程9432消费 girl_3

produce子进程8232生产 girl_4

consumer子进程3584消费 girl_4

consumer子进程9432获取结束信号man

consumer子进程11760获取结束信号man

consumer子进程3584获取结束信号man

生产者消费者模型完毕~~~

Process finished with exit code 0