生产者消费者模型是一种编程技巧,所以不限于python而是适用于各类编程语言。
生产者消费者问题,实际上主要是包含了两类线程(或进程),一种是生产者线程(或进程)用于生产数据,另一种是消费者线程(或进程)用于消费数据,为了解耦生产者和消费者的关系,通常会采用共享的数据区域。
生产者生产数据之后直接放置在共享数据区中,并不需要关心消费者的行为;而消费者只需要从共享数据区中去获取数据,就不再需要关心生产者的行为。但是,这个共享数据区域中应该具备这样的线程(或进程)间并发协作的功能:
1)如果共享数据区已满的话,阻塞生产者继续生产数据放置入内;
2)如果共享数据区为空的话,阻塞消费者继续消费数据;
3)借助Queue的通信功能来实现多进程的生产着消费者模型!
场景:假设你是皇上要临幸爱妃(用girl表示),皇上作为消费者角色,三宫六院负责产出爱妃(girl)则充当生产者的角色!
# ‐*‐ coding: utf‐8 ‐*‐
from multiprocessing import Queue
from multiprocessing import Process
import random
import time
import os
def produce(queue):
for i in range(5):
print("produce子进程%s生产 girl_%s" % (os.getpid(),str(i)))
queue.put('girl_'+ str(i))
time.sleep(random.randint(0,1))
def consumer(queue):
while True:
if not queue.empty():
girl = queue.get()
if girl != 'man':
print("consumer子进程%s消费 %s" % (os.getpid(),girl))
time.sleep(random.randint(0, 1))
else:
print("consumer子进程%s获取结束信号man" % os.getpid())
break
if __name__ == "__main__":
girls_q = Queue()
p = Process(target=produce,args=(girls_q,))
c = Process(target=consumer,args=(girls_q,))
# 开启生产者、消费者子进程
p.start()
c.start()
# 父进程等待子进程
p.join()
girls_q.put('man')# 放入生产结束的信号
c.join()
print("生产者消费者模型完毕~~~临幸完所有爱妃")
D:installpython3python.exe D:/pyscript/test/test1.py
produce子进程11648生产 girl_0
produce子进程11648生产 girl_1
produce子进程11648生产 girl_2
produce子进程11648生产 girl_3
consumer子进程11016消费 girl_0
consumer子进程11016消费 girl_1
consumer子进程11016消费 girl_2
consumer子进程11016消费 girl_3
produce子进程11648生产 girl_4
consumer子进程11016消费 girl_4
consumer子进程11016获取结束信号man
生产者消费者模型完毕~~~临幸完所有爱妃
Process finished with exit code 0
以上是单个生产者单个消费者的形式,如果是多个生产者多个消费者呢?可以参考如下代码:
# ‐*‐ coding: utf‐8 ‐*‐
from multiprocessing import Queue
from multiprocessing import Process
import random
import time
import os
def produce(queue):
for i in range(5):
print("produce子进程%s生产 girl_%s" % (os.getpid(),str(i)))
queue.put('girl_'+ str(i))
time.sleep(random.randint(0,1))
def consumer(queue):
while True:
if not queue.empty():
girl = queue.get()
if girl != 'man':
print("consumer子进程%s消费 %s" % (os.getpid(),girl))
time.sleep(random.randint(0, 1))
else:
print("consumer子进程%s获取结束信号man" % os.getpid())
queue.put('man') # 放到队列,让其他消费者也能获取man
break
if __name__ == "__main__":
girls_q = Queue()
list_p = [] # 生产者子进程列表
list_c = [] # 消费者子进程列表
# 3个生产者
for i in range(3):
p = Process(target=produce,args=(girls_q,))
list_p.append(p)
# 3个消费者
for i in range(3):
c = Process(target=consumer,args=(girls_q,))
list_c.append(c)
# 开启生产者、消费者子进程
for p in list_p:
p.start()
for c in list_c:
c.start()
# 父进程等待子进程
for p in list_p:
p.join()
girls_q.put('man') # 放入生产结束的信号
for c in list_c:
c.join()
print("生产者消费者模型完毕~~~")
D:installpython3python.exe D:/pyscript/test/test1.py
produce子进程10920生产 girl_0
consumer子进程9432消费 girl_0
produce子进程10920生产 girl_1
produce子进程10920生产 girl_2
produce子进程10920生产 girl_3
produce子进程10920生产 girl_4
consumer子进程3584消费 girl_1
consumer子进程3584消费 girl_2
produce子进程10992生产 girl_0
produce子进程10992生产 girl_1
produce子进程10992生产 girl_2
produce子进程10992生产 girl_3
produce子进程8232生产 girl_0
produce子进程8232生产 girl_1
produce子进程8232生产 girl_2
consumer子进程11760消费 girl_3
consumer子进程9432消费 girl_4
consumer子进程9432消费 girl_0
consumer子进程9432消费 girl_1
consumer子进程9432消费 girl_2
consumer子进程9432消费 girl_3
consumer子进程3584消费 girl_0
produce子进程10992生产 girl_4
produce子进程8232生产 girl_3
consumer子进程11760消费 girl_1
consumer子进程9432消费 girl_2
consumer子进程9432消费 girl_4
consumer子进程9432消费 girl_3
produce子进程8232生产 girl_4
consumer子进程3584消费 girl_4
consumer子进程9432获取结束信号man
consumer子进程11760获取结束信号man
consumer子进程3584获取结束信号man
生产者消费者模型完毕~~~
Process finished with exit code 0