scrapy中不同item由不同pipeline处理
pipeline的关键功能是“一个item可以按照settings.py里的配置,逐步被多个pipeline所处理”。每一步的pipeline会修改item的一些内容(比如重复性检查、错误数据修复等),或者根据item的数据做不同处理(比如有的pipeline负责把item写入日志,有的pipeline负责把item写入数据库,有的pipeline负责把item通过http发出去)。如果一个item只需要一次操作就可完成,那就在那个用isinstance判断item类型的pipeline里调用成员方法就
原创
2020-09-11 15:22:30 ·
1105 阅读 ·
0 评论