当整个scrapy爬取框架搭建好后,items,pipeline都设置好了,却发现通过Pipeline无法存入文件,这时候就需要设置settings.py了
- 在scrapy中settings中pipeline的开关是默认关闭的,需要将其注释去掉,之后就可以发挥scrapy的大刀啦。
# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {'tutorial.pipelines.TutorialPipeline': 300,
}