python Queue的多线程应用

原创 2015年11月20日 16:35:20

python Queue的用法

python队列是线程安全的,它里面可以承载任何类型的数据,供多个线程处理。


python queue模块有三种队列:

    FIFO队列先进先出,构造函数class Queue.Queue(maxsize)。

    LIFO类似于堆。即先进后出,构造函数class Queue.LifoQueue(maxsize)。

    优先级队列级别越低越先出来,构造函数class Queue.PriorityQueue(maxsize)。 


常用法:

import Queue

myqueue = Queue.Queue(maxsize = 100)

Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。

myqueue.put(100)

调用队列对象的put()方法在队尾插入一个项目。put()有两个参数,第一个item为必需的,为插入项目的值;第二个block为可选参数,默认为1。如果队列当前为空且block为1,put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0,put方法将引发Full异常。

myqueue.get()

调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block,默认为True。如果队列为空且block为True,get()就使调用线程暂停,直至有项目可用。如果队列为空且block为False,队列将引发Empty异常。

Queue.qsize() 返回队列的大小 

Queue.empty() 如果队列为空,返回True,反之False 

Queue.full() 如果队列满了,返回True,反之False

下面给出一个应用例子。


完整的源码

todo_queue里面存放多个任务,done_queue里面存放做完任务的计数。

get采用非block方式,并且捕获空队列的异常。

创建3个线程来从todo_queue中取任务来处理,处理完一个任务在done_queue计一个数。

#!/usr/bin/env python2.7
# -*- coding:utf-8 -*-
import logging, logging.handlers
import threading
import Queue

log_mgr = None
todo_queue = Queue.Queue()
done_queue = Queue.Queue()

class LogMgr:
    def __init__ (self, logpath):
        self.LOG = logging.getLogger('log')
        loghdlr1 = logging.handlers.RotatingFileHandler(logpath,"a", 0, 1)
        fmt1 = logging.Formatter("%(asctime)s %(threadName)-10s %(message)s", "%Y-%m-%d %H:%M:%S")
        loghdlr1.setFormatter(fmt1)
        self.LOG.addHandler(loghdlr1)
        self.LOG.setLevel(logging.INFO)
    def info(self, msg):
        if self.LOG is not None:
            self.LOG.info(msg)
            
class Worker(threading.Thread):
    global log_mgr
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        while True:
            try:
                task = todo_queue.get(False)
                if task:
                    log_mgr.info("HANDLE_TASK: %s" % task)
                    done_queue.put(1)
            except Queue.Empty:
                break
        return

def main():
    global log_mgr

    log_mgr = LogMgr("mylog")
    
    for i in range(30):
        todo_queue.put("data"+str(i))
        
    workers = []
    for i in range(3):
        w = Worker("worker"+str(i))
        workers.append(w)

    for i in range(3):
        workers[i].start()

    for i in range(3):
        workers[i].join()
        
    total_num = done_queue.qsize()
    log_mgr.info("TOTAL_HANDLE_TASK: %d" % total_num)
    exit(0)

if __name__ == "__main__":
    main()

运行结果


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Python多线程3:queue

queue模块实现了多生产者,多消费者队列。在多线程环境下,该队列能实现多个线程间安全的信息交换。 queue模块介绍 模块实现了3种类型的队列,区别在于队列中条目检索的顺序不同。在FIFO队...

python 多线程+queue

python的queue设计的是线程安全的,所以大家伙放心用吧! python多线程的一种简单的实现如下:#!/usr/bin/env python # -*- coding: utf-8 -*- ...

python多线程(3)---生产者与消费者(线程通信)和Queue模块

Queue模块可以进行线程通信。比如生产者产生货物,货物放入队列,通过通信,消费者取得货物。Queue被称为通用队列模块 queue(size)产生一个队列,队列模式有3种,针对这三种队列分别有三个...

python queue和多线程的爬虫 与 JoinableQueue和多进程的爬虫

多线程加queue的爬虫 以自己的csdn博客为例(捂脸,算不算刷自己博客访问量啊,哈哈哈) 代码比较简单,有注释: # -*-coding:utf-8-*- """ ayou """ import...

Python中的多线程threading和线程间消息队列queue学习笔记

python中实现多线程可以通过threading类。线程间同步则可以用queue类。至于python的进程间通信,暂时没有发现有类似linux ipc的模块可供使用,但是可以通过unix域套接字实现...

python:多线程+队列Queue 实现:生产者和消费者demo

# -*- coding: UTF-8 -*- # __author__ = 'Sengo' import Queue import threading import time class Boo...

python多线程-queue队列类型优先级队列,FIFO,LIFO

Queue在python3中重命名为queue,在python2到python3转换中可以自动转换队列可应用在多个生产者多个消费者的模型中,并且在多线程中可用于线程之间数据信息的安全交换通信,防止冲突...
  • comprel
  • comprel
  • 2017年05月30日 20:00
  • 3707

python_queue多线程

最近在看Queue多线程编程,准备写一个爬虫去爬网站的图片,看到的例子很多是一个固定的任务,用线程去跑几遍,实则Queue与Threading结合的方式是,线程可以从队列中获取一个数据去处理,执行任务...

python下多线程的思考和Queue的使用

参考地址:http://www.verydemo.com/demo_c122_i27913.html 说实话这是我第二次接触多线程……第一次是java,不过java强大的对象思想让我有点小晕……...

android多线程开发线程池(Handler+Thread+Message(queue)+Cache)应用

androidxianc [size=1.8em]Handler+Runnable模式 我们先看一个并不是异步线程加载的例子,使用 Handler+Runnable模式。 这里为何不是新开线程的...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python Queue的多线程应用
举报原因:
原因补充:

(最多只允许输入30个字)