并发编程利器Eventlet

Eventlet 是 由第二人生(Secondlife )开源的高度伸缩性的Python网络编 程库.


根据官方介绍大致特性如下:

  • 非阻塞I/O模型
  • 协程(Coroutines)使得开发者可以采用阻塞式的开发风格,却能够实现非阻塞I/O的效果
  • 隐式事件调度,使得可以在Python解释器或者应用程序的某一部分去使用Eventlet


关于协程,大致可以理解成允许子程序可以多次暂停和恢复执行,是实现多任务的一种有效手段, 具体见这里


在Python的世界里,实现了nonblocking I/O的产品并不算少.比如内置的Asyncore和著名的Twisted.相比之下,Eventlet是更容易上手和使用的。


举个例子


import eventlet

pool = eventlet.GreenPool()

while True:    pool.spawn(func,args )


上面这段代码,几乎就是使用eventlet的范式:

  • GreenPool 用来实现协程,保证并行;
  • Spawn     用来调用相应的函数,完成具体业务.

每个func之间切换,实施“你运行一会、我运行一会”,并且在进行切换时必须指定何时切换以及切换到 哪,当出现阻塞时,就显式切换到另一 段没有被阻塞的代码段执行,直到原先的阻塞状况消失以后,再人工切换回原来的代码段继续处理.


Eventlet内置提供了一个基于上述原理实现的数据库连接池,目前仅支持MySQL和 PostgreSQL.为了测试其性能如何,我参考了gashero 的这篇文章 ,并简化了测试方案.


测试对象分别是MySQLdb(MySQL驱动的Python封 装),Eventlet.db_pool,DBUtils


测试代码如下:

import time

import random

import MySQLdb

import eventlet.db_pool as db_pool

from DBUtils.PooledDB import PooledDB


conn_kwargs={'host':'192.168.8.84','user':'root','passwd':'','db':'logs'}

sql="""SELECT * FROM test WHERE id=%d"""

pooled=db_pool.ConnectionPool(MySQLdb,**conn_kwargs)

pooldb=PooledDB(MySQLdb,**conn_kwargs)


def query(conn):

    cur=conn.cursor()

    cur.execute(sql%(random.randint(1,1000)))

    data=cur.fetchall()

    return cur


def print_now():

    print time.strftime("%H:%M:%S")

    return


def test1(times):

    print_now()

    for i in range(0,times):

        conn=MySQLdb.connect(**conn_kwargs)

        r = query(conn)

        r.close()

        conn.close()

    print_now()

    return


def test2(times):

    print_now()

    for i in range(0,times):

        conn=pooled.get()

        try:

            query(conn)

        finally:

            pooled.put(conn)

    print_now()

    return


def test3(times):

    print_now()

    for i in range(0,times):

        conn=pooldb.connection()

        r=query(conn)

        r.close()

        conn.close()

    print_now()

    return


然后进入Python解释器交互环境

Python -i db-pool-test.py

>>> test1(10000) //MySQLdb

16:04:34

16:11:25

>>> test2(10000) //Event

16:12:35

16:15:22

>>> test3(10000) //DBUtils

16:15:28

16:18:09

 

总体来看,和传统的MySQLdb相比,性能有了很大的提升,和DBUtils差别并不是很明显.


协程凶猛啊!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值