python解决任务问题_python多线程队列处理任务的问题

该博客介绍了如何利用Python的Queue和threading模块创建一个线程池,线程从任务队列中取出任务并处理,处理结果可能产生新任务并根据条件放回队列。WorkManager类初始化工作队列和线程池,Work类作为工作线程,从队列中获取并执行任务。问题在于如何在do_job函数中将新任务添加回work_queue。
摘要由CSDN通过智能技术生成

想用Queue和threading模块实现一个线程池,线程函数从任务队列取出任务,进行处理,处理结果可能会产生新的任务,根据条件放到任务队列。

class WorkManager(object):

def __init__(self, arg, thread_num=2):

self.work_queue = Queue.Queue() # 队列对象

self.threads = []

self.__init_work_queue(arg)

self.__init_thread_pool(thread_num)

"""

初始化线程

"""

def __init_thread_pool(self, thread_num):

for i in range(thread_num):

self.threads.append(Work(self.work_queue))

"""

初始化工作队列

"""

def __init_work_queue(self, url):

self.work_queue.put(do_job, arg)

class Work(threading.Thread):

def __init__(self, work_queue):

threading.Thread.__init__(self)

self.work_queue = work_queue

self.start()

def run(self):

while True:

try:

do, arg = self.work_queue.get(block=False)

do(arg)

self.work_queue.task_done() # 通知系统任务完成

except Exception, e:

print self.getName(), "end", str(e)

break

# 具体要做的任务

def do_job(args):

# todo

上述代码定义了任务队列的WorkManager类和产生线程的Work类。

处理任务的do_job函数由于在两个类中都要调用,所以只能写在类外。

所以我的问题是,do_job函数产生了新的任务时,如何能获取到work_queue这个Queue.Queue()对象,从而把任务添加到队列里。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值