Python3.5中,队列是线程间最常用的交换数据的形式。Queue模块是提供队列操作的模块,虽然简单易用,但是不小心的话,还是会出现一些意外。
一、Queue介绍
1. 创建一个“队列”对象
import queue
q = queue.queue( maxsize=10)
queue.queue
类即是一个队列的同步实现。队列长度可为无限或者有限。可通过 queue
的构造函数的可选参数 maxsize
来设定队列长度。如果 maxsize
小于 1
就表示队列长度无限。
2. 将一个值放入队列中
q.put( 10)
调用队列对象的 put()
方法在队尾插入一个项目。
put( item, block=1)
有两个参数:
- 第一个
item
为必需的,为插入项目的值; - 第二个
block
为可选参数,默认为1
。
如果队列当前为空且 block
为 1
,put()
方法就使调用线程暂停,直到空出一个数据单元。
如果 block
为 0
,put
方法将引发 Full
异常。
3. 将一个值从队列中取出
q.get( timeout=5)
调用队列对象的 get()
方法从队头删除并返回一个项目。
可选参数为 block
,默认为 True
。
如果队列为空且 block
为 True
,get()
就使调用线程暂停,直至有项目可用。
如果队列为空且 block
为 False
,队列将引发 Empty
异常。
4. Python queue模块有三种队列及构造函数:
# Python queue模块的FIFO队列先进先出。
class queue.queue( maxsize)
#LIFO类似于堆,即先进后出。
class queue.Lifoqueue( maxsize)
#还有一种是优先级队列级别越低越先出来
class queue.Priorityqueue( maxsize)
5. 此包中的常用方法( q =queue.queue()):
q.qsize()
返回队列的大小;q.empty()
如果队列为空,返回True
,反之False
;q.full()
如果队列满了,返回True
,反之False
;q.full
与maxsize
大小对应;q.get( [block[, timeout]])
获取队列,timeout
等待时间;q.get_nowait()
相当q.get( False)
;- 非阻塞
q.put( item)
写入队列,timeout
等待时间; q.put_nowait( item)
相当q.put( item, False)
;q.task_done()
在完成一项工作之后,q.task_done()
函数向任务已经完成的队列发送一个信号;q.join()
实际上意味着等到队列为空,再执行别的操作。
二、网络队列
1. 启动队列服务
# ./queued.py
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys, os, random, time
import queue
from multiprocessing.managers import BaseManager
task_queue= queue.Queue()
class QueueManager( BaseManager):
pass
if __name__ == '__main__':
# 将Queue注册到网络上,callable参数关联了Queue对象
QueueManager.register( "task_queue", callable=lambda:task_queue)
# 注意 authkey=b'task' 网络编码:一定要 bytes 对象
manager = QueueManager( address=( "192.168.218.123", 19911), authkey=b'task')
manager.start()
manager.join()
启动队列服务:
nohup ./queued.py &
2. A机器发布
# ./a.py
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys, os, random, time
import queue
from multiprocessing.managers import BaseManager
class QueueManager( BaseManager):
pass
if __name__ == '__main__':
# 将Queue注册到网络上,callable参数关联了Queue对象
QueueManager.register( "task_queue")
manager = QueueManager( address=( "192.168.218.123", 19911), authkey=b'task')
manager.connect()
task_queue = manager.task_queue()
while True:
n = random.randint(0,1000)
print('put task %d ...' % n)
task_queue.put(n)
time.sleep(1)
3. B机器订阅
# ./b.py
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys, os, random
import queue
from multiprocessing.managers import BaseManager
class QueueManager( BaseManager):
pass
if __name__ == '__main__':
# 将Queue注册到网络上,callable参数关联了Queue对象
QueueManager.register( "task_queue")
manager = QueueManager( address=( "192.168.218.123", 19911), authkey=b'task')
manager.connect()
task_queue = manager.task_queue()
while True:
# 当 queue.Empty, get 会出现超时情况,需要做异常处理。
try:
n = task_queue.get( timeout=10)
except Exception:
n = None
print( "run task {}".format( n))
if n is None :
time.sleep( 5)
print('sleep 5 s...')