python环境测试MySQLdb、DBUtil、sqlobject性能

       首先介绍下MySQLdb、DBUtil、sqlobject：

   （1）MySQLdb 是用于Python连接Mysql数据库的接口，它实现了 Python 数据库 API 规范 V2.0，基于 MySQL C API 上建立的。除了MySQLdb外，python还可以通过oursql,PyMySQL, myconnpy等模块实现MySQL数据库操作；

   （2）DBUtil中提供了几种连接池，用以提高数据库的访问性能，例如PooledDB,PesistentDB等

   （3）sqlobject可以实现数据库ORM映射的第三方模块，可以以对象、实例的方式轻松操作数据库中记录。

   

    为测试这三者的性能，简单做一个例子：50个并发访问4000条记录的单表，数据库记录如下：

    测试代码如下：

    1、MySQLdb的代码如下，其中在connDB()中把连接池相关代码暂时做了一个注释，去掉这个注释既可以使用连接池来创建数据库连接：

   （1)DBOperator.py

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

import  MySQLdb from  stockmining.stocks.setting  import  LoggerFactory import  connectionpool   class  DBOperator( object ):            def  __init__( self ):          self .logger  =  LoggerFactory.getLogger( 'DBOperator' )          self .conn  =  None                      def  connDB( self ):          self .conn = MySQLdb.connect(host = "127.0.0.1" ,user = "root" ,passwd = "root" ,db = "pystock" ,port = 3307 ,charset = "utf8" )            #当需要使用连接池的时候开启          #self.conn=connectionpool.pool.connection()          return  self .conn        def  closeDB( self ):          if ( self .conn ! =  None ):              self .conn.close()            def  execute( self , sql):          try :              if ( self .conn ! =  None ):                  cursor  =  self .conn.cursor()              else :                  raise  MySQLdb.Error( 'No connection' )                            n  =  cursor.execute(sql)              return  n          except  MySQLdb.Error,e:              self .logger.error( "Mysql Error %d: %s"  %  (e.args[ 0 ], e.args[ 1 ]))         def  findBySQL( self , sql):          try :              if ( self .conn ! =  None ):                  cursor  =  self .conn.cursor()              else :                  raise  MySQLdb.Error( 'No connection' )                            cursor.execute(sql)              rows  =  cursor.fetchall()               return  rows          except  MySQLdb.Error,e:              self .logger.error( "Mysql Error %d: %s"  %  (e.args[ 0 ], e.args[ 1 ]))

   

   （2)测试代码testMysql.py，做了50个并发，对获取到的数据库记录做了个简单遍历。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

import  threading   import  time   import  DBOperator   def  run():       operator  =  DBOperator()      operator.connDB()      starttime  =  time.time()      sql  =  "select * from stock_cash_tencent"      peeps  =  operator.findBySQL(sql)      for  r  in  peeps:  pass        operator.closeDB()      endtime  =  time.time()      diff  =   (endtime  -  starttime) * 1000      print  diff       def  test():        for  i  in  range ( 50 ):            threading.Thread(target  =  run).start()           time.sleep( 1 )       if  __name__  = =  '__main__' :         test()

   

    2、连接池相关代码：

    （1）connectionpool.py

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

from  DBUtils  import  PooledDB import  MySQLdb import  string   maxconn  =  30             #最大连接数 mincached  =  10            #最小空闲连接 maxcached  =  20           #最大空闲连接 maxshared  =  30           #最大共享连接 connstring = "root#root#127.0.0.1#3307#pystock#utf8"  #数据库地址 dbtype  =  "mysql"     def  createConnectionPool(connstring, dbtype):      db_conn  =  connstring.split( "#" );      if  dbtype = = 'mysql' :          try :              pool  =  PooledDB.PooledDB(MySQLdb, user = db_conn[ 0 ],passwd = db_conn[ 1 ],host = db_conn[ 2 ],port = string.atoi(db_conn[ 3 ]),db = db_conn[ 4 ],charset = db_conn[ 5 ], mincached = mincached,maxcached = maxcached,maxshared = maxshared,maxconnections = maxconn)              return  pool          except  Exception, e:              raise  Exception, 'conn datasource Excepts,%s!!!(%s).' % (db_conn[ 2 ], str (e))              return  None     pool  =  createConnectionPool(connstring, dbtype)

   

   3、sqlobject相关代码

   （1）connection.py

1 2 3 4

from  sqlobject.mysql  import  builder   conn  =  builder()(user = 'root' , password = 'root' ,                   host = '127.0.0.1' , db = 'pystock' , port = 3307 , charset = 'utf8' )

  

    （2)StockCashTencent.py对应到数据库中的表，50个并发并作了一个简单的遍历。（实际上，如果不做遍历，只做count()计算，sqlobject性能是相当高的。）

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

import  sqlobject import  time from  connection  import  conn import  threading   class  StockCashTencent(sqlobject.SQLObject):      _connection  =  conn            code  =  sqlobject.StringCol()      name  =  sqlobject.StringCol()      date  =  sqlobject.StringCol()      main_in_cash  =  sqlobject.FloatCol()         main_out_cash  =  sqlobject.FloatCol()        main_net_cash  =  sqlobject.FloatCol()      main_net_rate =  sqlobject.FloatCol()      private_in_cash =  sqlobject.FloatCol()      private_out_cash =  sqlobject.FloatCol()      private_net_cash =  sqlobject.FloatCol()      private_net_rate =  sqlobject.FloatCol()      total_cash =  sqlobject.FloatCol()   def  test():      starttime  =  time.time()      query   =  StockCashTencent.select( True )      for  result  in  query:  pass      endtime  =  time.time()      diff  =   (endtime  -  starttime) * 1000      print  diff           if  __name__  = =  '__main__' :       for  i  in  range ( 50 ):            threading.Thread(target  =  test).start()             time.sleep( 1 )

      测试结果如下：

MySQLdb平均（毫秒）	99.63999271
DBUtil平均（毫秒）	97.07998276
sqlobject平均（毫秒）	343.2999897

  

     结论：其实就测试数据而言，MySQLdb单连接和DBUtil连接池的性能并没有很大的区别（100个并发下也相差无几），相反sqlobject虽然具有的编程上的便利性，但是却带来性能上的巨大不足，在实际中使用哪个模块就要斟酌而定了。

  （冯智杰：PMP、信息系统项目管理师，大型企业高级开发经理，关注金融、供应链行业发展，擅长敏捷开发、项目管理、技术研发等）