python Queue的多线程应用

python Queue的用法

python队列是线程安全的，它里面可以承载任何类型的数据，供多个线程处理。

python queue模块有三种队列:

    FIFO队列先进先出，构造函数class Queue.Queue(maxsize)。

    LIFO类似于堆。即先进后出，构造函数class Queue.LifoQueue(maxsize)。

    优先级队列级别越低越先出来，构造函数class Queue.PriorityQueue(maxsize)。 

常用法：

import Queue

myqueue = Queue.Queue(maxsize = 100)

Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。

myqueue.put(100)

调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为1。如果队列当前为空且block为1，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0，put方法将引发Full异常。

myqueue.get()

调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为True。如果队列为空且block为True，get()就使调用线程暂停，直至有项目可用。如果队列为空且block为False，队列将引发Empty异常。

Queue.qsize() 返回队列的大小 

Queue.empty() 如果队列为空，返回True,反之False 

Queue.full() 如果队列满了，返回True,反之False

下面给出一个应用例子。

完整的源码

todo_queue里面存放多个任务，done_queue里面存放做完任务的计数。

get采用非block方式，并且捕获空队列的异常。

创建3个线程来从todo_queue中取任务来处理，处理完一个任务在done_queue计一个数。

#!/usr/bin/env python2.7
# -*- coding:utf-8 -*-
import logging, logging.handlers
import threading
import Queue

log_mgr = None
todo_queue = Queue.Queue()
done_queue = Queue.Queue()

class LogMgr:
    def __init__ (self, logpath):
        self.LOG = logging.getLogger('log')
        loghdlr1 = logging.handlers.RotatingFileHandler(logpath,"a", 0, 1)
        fmt1 = logging.Formatter("%(asctime)s %(threadName)-10s %(message)s", "%Y-%m-%d %H:%M:%S")
        loghdlr1.setFormatter(fmt1)
        self.LOG.addHandler(loghdlr1)
        self.LOG.setLevel(logging.INFO)
    def info(self, msg):
        if self.LOG is not None:
            self.LOG.info(msg)
            
class Worker(threading.Thread):
    global log_mgr
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        while True:
            try:
                task = todo_queue.get(False)
                if task:
                    log_mgr.info("HANDLE_TASK: %s" % task)
                    done_queue.put(1)
            except Queue.Empty:
                break
        return

def main():
    global log_mgr

    log_mgr = LogMgr("mylog")
    
    for i in range(30):
        todo_queue.put("data"+str(i))
        
    workers = []
    for i in range(3):
        w = Worker("worker"+str(i))
        workers.append(w)

    for i in range(3):
        workers[i].start()

    for i in range(3):
        workers[i].join()
        
    total_num = done_queue.qsize()
    log_mgr.info("TOTAL_HANDLE_TASK: %d" % total_num)
    exit(0)

if __name__ == "__main__":
    main()

运行结果