关闭

python Queue的多线程应用

标签: python多线程线程安全queue
184167人阅读 评论(0) 收藏 举报
分类:

python Queue的用法

python队列是线程安全的,它里面可以承载任何类型的数据,供多个线程处理。


python queue模块有三种队列:

    FIFO队列先进先出,构造函数class Queue.Queue(maxsize)。

    LIFO类似于堆。即先进后出,构造函数class Queue.LifoQueue(maxsize)。

    优先级队列级别越低越先出来,构造函数class Queue.PriorityQueue(maxsize)。 


常用法:

import Queue

myqueue = Queue.Queue(maxsize = 100)

Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。

myqueue.put(100)

调用队列对象的put()方法在队尾插入一个项目。put()有两个参数,第一个item为必需的,为插入项目的值;第二个block为可选参数,默认为1。如果队列当前为空且block为1,put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0,put方法将引发Full异常。

myqueue.get()

调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block,默认为True。如果队列为空且block为True,get()就使调用线程暂停,直至有项目可用。如果队列为空且block为False,队列将引发Empty异常。

Queue.qsize() 返回队列的大小 

Queue.empty() 如果队列为空,返回True,反之False 

Queue.full() 如果队列满了,返回True,反之False

下面给出一个应用例子。


完整的源码

todo_queue里面存放多个任务,done_queue里面存放做完任务的计数。

get采用非block方式,并且捕获空队列的异常。

创建3个线程来从todo_queue中取任务来处理,处理完一个任务在done_queue计一个数。

#!/usr/bin/env python2.7
# -*- coding:utf-8 -*-
import logging, logging.handlers
import threading
import Queue

log_mgr = None
todo_queue = Queue.Queue()
done_queue = Queue.Queue()

class LogMgr:
    def __init__ (self, logpath):
        self.LOG = logging.getLogger('log')
        loghdlr1 = logging.handlers.RotatingFileHandler(logpath,"a", 0, 1)
        fmt1 = logging.Formatter("%(asctime)s %(threadName)-10s %(message)s", "%Y-%m-%d %H:%M:%S")
        loghdlr1.setFormatter(fmt1)
        self.LOG.addHandler(loghdlr1)
        self.LOG.setLevel(logging.INFO)
    def info(self, msg):
        if self.LOG is not None:
            self.LOG.info(msg)
            
class Worker(threading.Thread):
    global log_mgr
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        while True:
            try:
                task = todo_queue.get(False)
                if task:
                    log_mgr.info("HANDLE_TASK: %s" % task)
                    done_queue.put(1)
            except Queue.Empty:
                break
        return

def main():
    global log_mgr

    log_mgr = LogMgr("mylog")
    
    for i in range(30):
        todo_queue.put("data"+str(i))
        
    workers = []
    for i in range(3):
        w = Worker("worker"+str(i))
        workers.append(w)

    for i in range(3):
        workers[i].start()

    for i in range(3):
        workers[i].join()
        
    total_num = done_queue.qsize()
    log_mgr.info("TOTAL_HANDLE_TASK: %d" % total_num)
    exit(0)

if __name__ == "__main__":
    main()

运行结果


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1978325次
    • 积分:1137
    • 等级:
    • 排名:千里之外
    • 原创:20篇
    • 转载:1篇
    • 译文:1篇
    • 评论:0条
    文章分类