python 异步 生产者 消费者_python线程------queue、生产者和消费者模式

一、queue简介

1、queue是python标准库中的线程安全的队列(FIFO)实现,提供了一个适用于多线程编程的先进先出的数据结构，即队列，用来在生产者和消费者线程之间的信息传递

2、FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器，使用方法很简单,maxsize是个整数，指明了队列中能存放的数据个数的上限。一旦达到上限，插入会导致阻塞，直到队列中的数据被消费掉

二、queue的一些方法

1、 take done()

意味着之前入队的一个任务已经完成。由队列的消费者线程调用。每一个get()调用得到一个任务，接下来的task_done()调用告诉队列该任务已经处理完毕。

如果当前一个join()正在阻塞，它将在队列中的所有任务都处理完时恢复执行(即每一个由put()调用入队的任务都有一个对应的task_done()调用)。

2、 join()

阻塞调用线程，直到队列中的所有任务被处理掉。

只要有数据被加入队列，未完成的任务数就会增加。当消费者线程调用task_done()(意味着有消费者取得任务并完成任务)，未完成的任务数就会减少。当未完成的任务数降到0，join()解除阻塞。

3、put()

将数据放入队列中

4、 get()

取出队列的数据

import threading,queue

import time,random

q = queue.Queue()#创建一个队列

def Producer(name):

count =0

while count < 10:

print('making.........')

time.sleep(random.randrange(3))

q.put(count)

print('Product %s has produced %s baozi...' % (name,count))

count += 1

q.task_done()

print('ok.......')

def Consumer(name):

count = 0

while count < 10:

time.sleep(random.randrange(4))

print("..............waiting..............")

q.join()

data = q.get()

print(data)

print('Comsumer %s has eat %s baozi...' % (name,data))

count += 1

p1 = threading.Thread(target = Producer,args = ('厨师',))

c1 = threading.Thread(target = Consumer,args = ('食客1',))

c2 = threading.Thread(target = Consumer,args = ('食客2',))

p1.start()

c1.start()

c2.start()

三、生产者和消费者的一些总结

#程序中有两类角色

一类负责生产数据(生产者)

一类负责处理数据(消费者)

#引入生产者消费者模型为了解决的问题是：

平衡生产者与消费者之间的工作能力，从而提高程序整体处理数据的速度

#如何实现：

生产者队列消费者

#生产者消费者模型实现类程序的解耦和