Scrapy:为spider指定pipeline

当一个Scrapy项目中有多个spider去爬取多个网站时，往往需要多个pipeline，这时就需要为每个spider指定其对应的pipeline。
[通过程序来运行spider],可以通过修改配置settings的ITEM_PIPELINES只有1个当前运行的spider的pipeline,然后加载配置并运行spider:

settings = get_project_settings()
settings.set('ITEM_PIPELINES', {'MyPipeline':1}, 20)
runner = CrawlerRunner(settings)

我是通过命令行来获得当前要运行的spider,然后通过建立的spider与pipeline的字典来找到对应的pipeline的。

转载于:https://www.cnblogs.com/xmwd/p/scrapy_attach_spider_to_pipeline.html