线程池threadpool中的“most likely raised during interpreter”

示例代码:
import threadpool
import time,random
import Queue

def hello1(str):
    time.sleep(2)
    return str

def print_ret(request, result):
    print "the result is %s %r\n" % (request.requestID, result)

q = Queue.Queue()
for i in range(100):
    q.put(i)

lst = [q.get() for i in range(q.qsize())]

pool = threadpool.ThreadPool(20)
requests = threadpool.makeRequests(hello1, lst, print_ret)
for req in requests:
    pool.putRequest(req)

pool.wait()
结果:

这里写图片描述

结果分析:

看了threadpool的源码后,发现源码中有setDaemon(1)这个操作,即将子线程作为守护线程,守护线程的特点是,当主线程结束后,子线程会被主线程强势顺带杀掉。

此时,虽然pool.wait()根据workRequests为空,判断出所有任务都已经执行完毕。但是线程池里的线程,仍然在while true下不停地非阻塞地去取任务队列中的任务。

当主线程结束,python解释器停止工作,标准输入、标准输出、循环等功能也会停止,因此“线程池中的线程不停地去寻找任务”的操作会报错。

解决方法:
  1. poll_timeout=None
pool = threadpool.ThreadPool(20)

修改成

pool = threadpool.ThreadPool(20, poll_timeout=None)

如此,当子线程完成任务,循环去搜索新任务的时候,发现任务队列为空,则会阻塞式地去等待任务队列里插入新的任务,当线程阻塞的时候,用不到python解释器中的内容。即使主线程强制杀死子线程,子线程也不会报错。
2. 另主线程永远不退出。
主线程不退出,则子线程也不会被杀,必然不会报错。这也是“线程池”概念的体现,池子永远存在,子线程永远不死。不去调用threadpool自带的wait()函数,自己重写一个,在while true下自己去调用poll()函数,完成回调函数等功能。在while true下定义一个Queue队列,当捕获到NoResultsPending异常,证明所有任务完成,调用

Queue.get(block=True, timeout=None) 

此时,其他模块可以往此处的Queue中加入新的任务,threadpool从Queue中获取新的任务,继续执行。

参考:

https://my.oschina.net/crooner/blog/387933
http://blog.csdn.net/shenwanjiang111/article/details/78801626

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值