Gevent 任务的持续追加和执行

参考网站:http://simple-is-better.com/news/426


刚开始接触gevent,特喜欢其中Coroutine的轻便。 

前两天一直纠结于如何进行任务追加,目前摸索的情况是gevent似乎并不支持coroutine的追加,因为一直限制在这种想法中,迟迟无法迈步。看到有同事玩多线程,才恍然,所谓任务,无非就是对拥有特定格式的数据进行解析、执行,既然无法追加coroutine,那可以追加数据啊。下面的做法就几乎与多线程一致了。 

做一组池,接入队列就齐活了。 

哦,慢着!用队列接数据的话,不就会陷入阻塞了么,还有gevent的模式就是在coroutine陷入阻塞时将控制权限让回给调度器,用池的方式接队列,这个似乎有点... 

gevent早就有了大杀器:JoinableQueue 

def worker(): 
    while True: 
        item = q.get() 
        try: 
            do_work(item) 
        finally: 
            q.task_done() 
 
q = JoinableQueue() 
for i in range(num_worker_threads): 
     gevent.spawn(worker) 
 
for item in source(): 
    q.put(item) 
 
q.join()  # block until all tasks are done  

这是官方doc中提供的代码(杯具啊,翻了N遍文档,就是没看queue这块..) 

那么gevent提供的JoinableQueue与普通队列有啥区别捏,嘿嘿,还米有研究。暂时先这么滴吧,达成目的先。 

标准的 池接队列 。 
啥也不说了,打完收工。 

欲知大杀器究竟如何,待俺研究透了再作分解~



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值