python 使用adbapi异步MySQL数据库操作

对于异步框架而言，这些延迟是无法接受的。因此, Twisted 提供了 twisted.enterprise.adbapi, 遵循DB-API 2.0协议的一个异步封装。

adbapi 在单独的线程里面进行阻塞数据库操作, 当操作完成的时候仍然通过这个线程来进行回调。同事，原始线程能继续进行正常的工作，服务其他请求。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47

# 用twisted库将数据进行异步插入到数据库   import  pymysql import pymysql.cursors from  twisted.enterprise  import  adbapi from  twisted.internet  import  reactor     class  MysqlTwistedPipeline( object ):      def  __init__( self , dbpool):          self .dbpool  =  dbpool        @classmethod      def  from_settings( cls , settings):          # 需要在setting中设置数据库配置参数          dbparms  =  dict (              host = settings[ 'MYSQL_HOST' ],              db = settings[ 'MYSQL_DBNAME' ],              user = settings[ 'MYSQL_USER' ],              passwd = settings[ 'MYSQL_PASSWORD' ],              charset = 'utf8' ,              cursorclass = pymysql.cursors.DictCursor,              use_unicode = True ,          )          # 连接ConnectionPool（使用MySQLdb连接，或者pymysql）          dbpool  =  adbapi.ConnectionPool( "pymysql" ,  * * dbparms)   # **让参数变成可变化参数          return  cls (dbpool)    # 返回实例化对象          def  process_item( self , item, spider):          # 使用twisted将MySQL插入变成异步执行          query  =  self .dbpool.runInteraction( self .do_insert, item)          # 添加异常处理          query.addCallback( self .handle_error)          def  handle_error( self , failure):          # 处理异步插入时的异常          print (failure)          def  do_insert( self , cursor, item):          # 执行具体的插入          insert_sql  =  """                      insert into jobbole_artitle(name, base_url, date, comment)                      VALUES (%s, %s, %s, %s)                  """          cursor.execute(insert_sql, (item[ 'name' ], item[ 'base_url' ], item[ 'date' ], item[ 'coment' ],))