Python： Can't start new thread解决方案（设置线程上限）

背景：

在编写一个爬虫的时候，检查用多线程来检测结果有效性的时候，线程启动过多报错：

thread.error: can't start new thread

方案：使用Thread中的event,并进行上锁设置来解决。

原因：这个是由于每台计算机能进行的并行是有上限的，经过测试本机的上限为1023个左右（win7 64位，i3 2核4线程），可以进行设置提高上限，但我觉得此处没有必要，也不方便扩展，所以想自行定义一个并行的上限数进行处理。

参考：在多次百度无果之后，选择了google，查看了国外的一些评论和解决方案，在google学术中搜索“python thread number limit”，下载了此篇pdf，在13-14页中找到了解决方案，果然是老外做的东西，老外更懂啊。

http://python-ray.googlecode.com/hg-history/425d613ba8a2c7bd367b573018df45e5ec474428/doc/PyThreads.pdf

解决方案：

具体解决方案如下，对应的代码加上了注释。

#coding=utf-8
import threading

class scanner(threading.Thread):
    tlist=[] #用来存储队列的线程
    maxthreads=100 # int(sys.argv[2])最大的并发数量，此处我设置为100，测试下系统最大支持1000多个
    evnt=threading.Event()#用事件来让超过最大线程设置的并发程序等待
    lck=threading.Lock() #线程锁
    def __init__(self):
        threading.Thread.__init__(self)
    def run(self):
        try:
            pass
        except Exception,e:
            print e.message
        #以下用来将完成的线程移除线程队列
        scanner.lck.acquire()
        scanner.tlist.remove(self)
        #如果移除此完成的队列线程数刚好达到99，则说明有线程在等待执行，那么我们释放event，让等待事件执行
        if len(scanner.tlist)==scanner.maxthreads-1:
            scanner.evnt.set()
            scanner.evnt.clear()
        scanner.lck.release()
    def newthread(proxy,counter):
        scanner.lck.acquire()#上锁
        sc=scanner()
        scanner.tlist.append(sc)
        scanner.lck.release()#解锁
        sc.start()
    #将新线程方法定义为静态变量，供调用
    newthread=staticmethod(newthread)

def runscan():
    for i in 1 .. 100:
        scanner.lck.acquire()
        #如果目前线程队列超过了设定的上线则等待。
        if len(scanner.tlist)>=scanner.maxthreads:
            scanner.lck.release()
            scanner.evnt.wait()#scanner.evnt.set()遇到set事件则等待结束
        else:
            scanner.lck.release()
        scanner.newthread(proxy,counter)
       
    for t in scanner.tlist:
        t.join()#join的操作使得后面的程序等待线程的执行完成才继续

if __name__=="__main__":
    runscan()

 

？？proxy,counter

转自：http://www.cnblogs.com/freeideas/archive/2013/05/05/3060812.html