有些时候,我们可能需要存入不同的数据库中,而settings中只能设置一个数据库的资料,那么这时候我们就需要使用custom_settings参数来为每一个spider配置对应的pipeline。不过scrapy版本必须是1.1以上
Class Test1(scrapy.Spider):
name = "test1"
custom_settings = {
'ITEM_PIPELINES':{'xxxx.pipelines.TestPipeline1': 301},
}
Class Test2(scrapy.Spider):
name = "test2"
custom_settings = {
'ITEM_PIPELINES':{'xxxx.pipelines.TestPipeline2': 302},
}
但是在settings里面也要配置pipeline:
ITEM_PIPELINES = {
'xxxx.pipelines.TestPipeline1': 301,
'xxxx.pipelines.TestPipeline2': 302
}