python queue的用法_python各种queue总结

一、队列介绍

定义：队列是一种特殊的线性表，是一种先进先出(FIFO)的数据结构。

用途：用于线程之间或进程之间的数据共享。

队列的五种基本操作：

初始化队列

入队

出队

判断队列是否为空

判断队列是否为满

python内置有四种队列：

先进先出队列 Queue.Queue

先进后出队列 Queue.LifoQueue

优先级队列 Queue.ProorityQueue

双端队列 collections.deque

二、使用

Queue模块封装了先进先出队列Queue.Queue()、先进后出队列Queue.LifoQueue()、优先级队列Queue.PriorityQueue()以及队列为空和满的异常。

三种队列的通用用法：

que = Queue.Queue(maxsize=xx) or Queue.Lifoqueue(maxsize=xx) or Queue.Priorityqueue(maxsize=xx)，实例化xx长度的队列。不指定maxsize时，默认队列无限长

que.get(block=True, timeout=xx)  xx秒阻塞出队，超过xx秒无数据出队则抛出Queue.Empty异常。que.get()，相当于que.get(block=True, timeout=None)，默认阻塞出队，且阻塞时间无限长

que.get_nowait()  相当于que.get(block=False, timeout=None) 非阻塞即刻出队，当队里为空时抛出Queue.Empty异常

que.put(item, block=True, timeout=xx) xx秒阻塞入队，超过xx秒数据无法入队则抛出Queue.Full异常。que.put(item)，相当于为que.put(item, block=True, timeout=None), 默认阻塞入队，且阻塞时间无限长

que.put_nowait(item)  相当于que.put(item, block=False, timeout=None) 非阻塞即刻入队，当队里已满时抛出Queue.Full异常

que.empty() 判断队列是否为空，为空返回True

que.full() 判断队列是否已满，已满返回True

que.qsize() 获取当前队列的长度

que.join() 阻塞队列直到所有入队的数据都完成出队

que.task_done() 告诉其它阻塞获取数据的线程队列已被当前队列用完

collections.deque用法：

dque = collections.deque(iter_obj, maxlen=len)  实例化初始可迭代数据iter_obj、长度为len的双端队列

dque.append(item) 右侧入队一条数据

dque.appendleft(item)  左侧入队一条数据

dque.extent(item) or deque.exten(iter_obj) 右侧入队一条或多条可迭代数据

dque.extenleft(item) or deque.exten(iter_obj) 左侧入队一条或多条可迭代数据

dque.pop(item) 右侧出队一条数据

dque.popleft(item) 左侧出队一条数据

dque.remove(item) 删除某条数据

dque.clear() 清空双端队列

dque.count() 计算双端队列的长度

dque.reverse() 将双端队列左右换序

dque.rotate() 将双端队列变变成可迭代对象

三、Queue.Queue、multiprocessing.Queue与multiprocessing.Manager.Queue()

Queue.Queue() 主要用于多线程之间通信。Queue.Queue()实例化对象必须从外部(线程的主进程)传入线程；线程自己的Queue.Queue() 对象，主进程和其它线程都不可访问；Queue.Queue() 不可用于多进程

multiprocessing.Queue() 主要用于多进程之间的通信。multiprocessing.Queue()实例化对象必须从外部(线程的主进程)传入线程；子进程自己的multiprocessing.Queue()对象，其它子进程和主进程都不可访问

multiprocessing.Manager().Queue() 自己的multiprocessing.Manager().Queue()对象，主进程可以访问，同级线程/进程也可以访问

所以，Queue.Queue()为多线程安全队列，multiprocessing.Queue()为多进程安全队列，multiprocessing.Manager().Queue() 为将自己队列属性共享给主进程访问的队列，使用方法如下：

Queue.Queue()在主进程中实例化(初始化)，所有传入queue实例的子线程共同使用

multiprocessing.Queue() 在主进程中实例化(初始化)，所有传入queue实例的子进程共同使用

multiprocessing.Manager.Queue()在子线程中实例化(初始化)时，主进程和其它子线程都可访问；multiprocessing.Managerr.Queue()在子进程中实例化(初始化)时，主进程和其它子进程都可访问