# -*- coding:utf-8 -*- ''' 使用异步存储的原因: 同步:写入数据速度比较慢,而爬虫速度比较快,可能导致数据最后写入不到数据库中 异步:是将爬虫的数据先放入一个连接池中,再同时将连接池的数据写入到数据库中,这样既可以 提高数据库的写入速度,同时也可以将爬取到的所有数据都写入进数据库,能保证数据的完整性 ''' ''' 异步写入流程 1.引入twisted.enterprise.adbapi pymysql.cursors 2.在settings中配置数据库连接参数 3.创建pipeline,实现from_settings函数,从settings获取数据库连接参数,根据参数创建连接池对象,返回当前pipeline的对象,并且把连接池赋值给该对象属性 4.实现process_item函数,使用db_pool.runInteraction(函数,函数需要的参数) 将数据库的处理操作放入连接池s,还需要将操作数据的函数实现,使用cursor执行sql 5.拿到runInteraction()函数返回的处理结果,添加错误回调函数,在函数中将错误原因打印 '''
基于python的-异步写入mysql步骤
最新推荐文章于 2024-05-19 09:08:52 发布