python模块介绍-gevent介绍：基于协程的网络库

最新推荐文章于 2021-07-01 21:15:01 发布

_宇宙浪子_

最新推荐文章于 2021-07-01 21:15:01 发布

阅读量2k

点赞数

分类专栏： Python 文章标签： python gevent

Python 专栏收录该内容

112 篇文章 6 订阅

订阅专栏

本文转自：http://my.oschina.net/u/1433482/blog/192562?p=1

原 python模块介绍-gevent介绍：基于协程的网络库

摘要 gevent是基于协程的Python网络库。特点：基于libev的快速事件循环(Linux上epoll，FreeBSD上kqueue）。基于greenlet的轻量级执行单元。 API的概念和Python标准库一致(如事件，队列)。可以配合socket，ssl模块使用。能够使用标准库和第三方模块创建标准的阻塞套接字(gevent.monkey)。默认通过线程池进行DNS查询,也可通过c-are(通过GEVENT_RESOLVER=ares环境变量开启）。 TCP/UDP/HTTP服务器子进程支持（通过geven...

python 模块 gevent 协程网络库

目录[-]

python模块介绍-gevent介绍：基于协程的网络库

介绍

gevent是基于协程的Python网络库。特点：

基于libev的快速事件循环(Linux上epoll，FreeBSD上kqueue）。
基于greenlet的轻量级执行单元。
API的概念和Python标准库一致(如事件，队列)。
可以配合socket，ssl模块使用。
能够使用标准库和第三方模块创建标准的阻塞套接字(gevent.monkey)。
默认通过线程池进行DNS查询,也可通过c-are(通过GEVENT_RESOLVER=ares环境变量开启）。
TCP/UDP/HTTP服务器
子进程支持（通过gevent.subprocess）
线程池

安装

gevent目前支持python2.5-2.7，python2.6以前的版本如果要使用ssl还需要安装ssl模块。

 
         # pip install gevent

实例

下面的示例展示了如何同时运行任务。

 
    
         >>>  
         import  
         gevent>>>  
         from  
         gevent  
         import  
         socket>>> urls  
         =  
         [ 
         'www.google.com' 
         ,  
         'www.example.com' 
         ,  
         'www.python.org' 
         ]>>> jobs  
         =  
         [gevent.spawn(socket.gethostbyname, url)  
         for  
         url  
         in  
         urls]>>> gevent.joinall(jobs, timeout 
         = 
         2 
         )>>> [job.value  
         for  
         job  
         in  
         jobs][ 
         '74.125.128.106' 
         ,  
         '93.184.216.119' 
         ,  
         '82.94.164.162' 
         ] 
        
 
  

job发起之后，gevent.joinall()等待完成，不超过2秒。结果收集在gevent.Greenlet.value属性。 gevent.socket.gethostbyname()和socket.gethostbyname()的接口一样，但它并不阻塞解释器，其他 greenlet继续畅通无阻的处理请求。

灵猴补丁(Monkey patching)

上面例子使gevent.socket进行socket操作。如果使用标准socket模块将有3倍耗时，因为DNS请求是串行的。在greenlet中使用标准socket模块毫无意义，这些模块和包是怎么建立在socket之上的？

monkey patching这时起作用了，gevent.monkey小心地使用兼容副本替换标准socket模块的函数和类。这样，即使是不知道gevent的模块也受益于greenlet环境运行。

 
    
         >>>  
         from  
         gevent  
         import  
         monkey; monkey.patch_socket()>>>  
         import  
         urllib2  
         # it's usable from multiple greenlets now 
        
 
  

下面是使用urllib2进行下载的实例：

1

2

3

4

 
         #!/usr/bin/env python# -*- coding: utf-8 -*-# Copyright (c) 2009 Denis Bilenko. See LICENSE for details."""Spawn multiple workers and wait for them to complete"""urls = ['http://www.google.com', 'http://www.yandex.ru', 'http://www.python.org']import geventfrom gevent import monkey# patches stdlib (including socket and ssl modules) to cooperate with other greenletsmonkey.patch_all()import urllib2def print_head(url): 
        
 
              
         print 
         ( 
         'Starting %s'  
         %  
         url) 
        
 
              
         data  
         =  
         urllib2.urlopen(url).read() 
        
 
              
         print 
         ( 
         '%s: %s bytes: %r'  
         %  
         (url,  
         len 
         (data), data[: 
         50 
         ]))jobs  
         =  
         [gevent.spawn(print_head, url)  
         for  
         url  
         in  
         urls]gevent.wait(jobs) 
        

执行结果：

 
    
         # ./test.py  
        
 
         Starting http: 
         //www 
         .google.com 
        
 
         Starting http: 
         //www 
         .yandex.ru 
        
 
         Starting http: 
         //www 
         .python.org 
        
 
         http: 
         //www 
         .google.com: 11246 bytes:  
         '<!doctype html><html itemscope="" itemtype="http:/' 
         http: 
         //www 
         .python.org: 20471 bytes:  
         '<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Trans' 
         http: 
         //www 
         .yandex.ru: 208804 bytes:  
         '<!DOCTYPE html><html class="i-ua_js_no i-ua_css_st' 
        
 
  

事件循环

不像其他网络库，gevent和eventlet类似，在一个greenlet中隐式开始事件循环。没有必须调用run()或dispatch()的反应器(reactor)，在twisted中是有 reactor的。当gevent的API函数想阻塞时，它获得Hub实例(执行时间循环的greenlet),并切换过去。如果没有集线器实例则会动态创建。

libev提供的事件循环默认使用系统最快轮询机制，设置LIBEV_FLAGS环境变量可指定轮询机制。LIBEV_FLAGS=1为select， LIBEV_FLAGS = 2为poll， LIBEV_FLAGS = 4为epoll,LIBEV_FLAGS = 8为kqueue。请阅读libev文档了解更多信息http://pod.tst.eu/http://cvs.schmorp.de/libev/ev.pod#FUNCTIONS_CONTROLLING_EVENT_LOOPS。

Libev的API位于gevent.core下。注意libev API的回调在Hub的greenlet运行，因此使用同步greenlet的API。可以使用spawn()和Event.set()等异步API。

多任务合作

所有greenlets都在同一个操作系统线程调度执行。直到特定的greenlet放弃控制，（调用阻塞函数切换到Hub），其他greenlet才有机会运行。对于I / O密集型应用程序这通常不是问题，但做CPU密集型或者调用封锁绕过libev事件循环的I/0功能的时会有问题。

一般不需要在greenlet之间同步访问共享对象，所以Lock和Semaphore类尽管存在，但是很少使用。从线程和多处理等其他概念仍然常用，如下：

Event：唤醒在调用Event.wait()方法的greenlets。
AsyncResult:和Event类似，但允许传递值或异常。队列和JoinableQueue。
Queu和JoinableQueue.

轻量级伪线程

greenlet通过创建greenlet实例并调用其start方法发起。(spawn()函数就是做这个的快捷方式)。 start方法给greenlet安排一个开关，当前greenlet放弃控制触发。如果有多个active的事件，将不确定的顺序一一执行。

如果在执行过程中出现错误，将无法离开greenlet的边界。未处理的错误导致打印堆栈跟踪及失败函数和参数：

 
    
         >>> gevent.spawn( 
         lambda  
         :  
         1 
         / 
         0 
         )>>> gevent.sleep( 
         1 
         )Traceback (most recent call last): 
        
 
           
         ...ZeroDivisionError: integer division  
         or  
         modulo by zero<Greenlet at  
         0x7f2ec3a4e490 
         : <function < 
         lambda 
         ...>> failed with ZeroDivisionError 
        
 
  

traceback在greenlet退出时同步打印至sys.stderr。

Greenlet实例有如下有用的方法：

join – waits until the greenlet exits;
kill – interrupts greenlet’s execution;
get – returns the value returned by greenlet or re-raised the exception that killed it.

继承Greenlet类重载其str可以自定义traceback后的字符串。另外还需要重载_run()方法以及在init中调用Greenlet.init(self)。

 
         class  
         MyNoopGreenlet(Greenlet): 
        
         def  
         __init__( 
         self 
         , seconds): 
        
         Greenlet.__init__( 
         self 
         ) 
        
         self 
         .seconds  
         =  
         seconds     
         def  
         _run( 
         self 
         ): 
        
         gevent.sleep( 
         self 
         .seconds) 
        
         def  
         __str__( 
         self 
         ): 
        
         return  
         'MyNoopGreenlet(%s)'  
         %  
         self 
         .seconds

可以异步结束Greenlet,浙江将恢复等待的greenlet，不继续执行而是引发GreenletExit。

 
         >>> g  
         =  
         MyNoopGreenlet( 
         4 
         )>>> g.start()>>> g.kill()>>> g.deadTrue

GreenletExit及其子类的处理方式不同于其他异常。GreenletExit不被视为异常状态，不打印traceback。get可以获得GreenletExit是GET，就好像它是由greenlet返回，不是raise。

kill方法可以自定义的异常：

 
         >>> g  
         =  
         MyNoopGreenlet.spawn( 
         5 
         )  
         # spawn() creates a Greenlet and starts it>>> g.kill(Exception("A time to kill"))Traceback (most recent call last): 
        
         ...Exception: A time to kill 
        
         MyNoopGreenlet( 
         5 
         ) failed with Exception