python重复运行某段线程代码_python单条线程多次执行任务

在项目中，有时需要并发处理多个任务，可以使用多线程技术。但是由于机器限制，不能说有多少个任务，就开启多少个线程，那么这里就涉及到单条线程多次执行任务的方法。例如有1万个任务，开启10条线程来处理，每个线程处理完一个任务，就继续处理下一个任务，直到任务全部执行完毕。

假设有10000个任务在队列里，开启10个线程来循环执行任务，每次执行完一个任务，都从队列里删除这个任务，直到任务全部结束。

#coding=utf8

import threading

from Queue import Queue

# 假设有10000个任务

myqueue = Queue(10000)

for i in range(10000):

myqueue.put('task%d' % (i + 1))

'''

任务执行方法，任务执行完成就被移除

以下只是简单输出任务执行字符串，并记录日志

'''

def foo():

try:

task = myqueue.get_nowait()

except Exception, e:

pass

print '%s execute!' % task

logfile = open('log.txt', 'a')

print >> logfile, '%s finish!' % task

logfile.close()