基于python的-异步写入mysql步骤

# -*- coding:utf-8 -*-

'''
使用异步存储的原因:

    同步:写入数据速度比较慢,而爬虫速度比较快,可能导致数据最后写入不到数据库中
    异步:是将爬虫的数据先放入一个连接池中,再同时将连接池的数据写入到数据库中,这样既可以
        提高数据库的写入速度,同时也可以将爬取到的所有数据都写入进数据库,能保证数据的完整性

'''
'''
异步写入流程
1.引入twisted.enterprise.adbapi  pymysql.cursors
2.在settings中配置数据库连接参数
3.创建pipeline,实现from_settings函数,从settings获取数据库连接参数,根据参数创建连接池对象,返回当前pipeline的对象,并且把连接池赋值给该对象属性
4.实现process_item函数,使用db_pool.runInteraction(函数,函数需要的参数) 将数据库的处理操作放入连接池s,还需要将操作数据的函数实现,使用cursor执行sql
5.拿到runInteraction()函数返回的处理结果,添加错误回调函数,在函数中将错误原因打印
'''