使用sqlalchemy用orm方式写pipeline将scrapy item快速存入 MySQL
传统的使用scrapy爬下来的数据存入mysql,用的是在pipeline里用pymysql存入数据库,这种方法需要写sql语句,如果item字段数量非常多的 情况下,编写起来会造成很大的麻烦.我使用的python 库:sqlalchemy来编写,用orm的方式,使代码变得非常简洁,按照数据库表的字段,编写好自己的类,在settings里面设置好pipeline即可.# -*- coding: u...
原创
2018-05-20 17:39:55 ·
3247 阅读 ·
1 评论