第一个爬虫，存储数据到json

创建项目：scrapy startproject MySpider

创建一个蜘蛛：切换到spider文件路径下，输入scrapy genspider room_info "sz.58.com"   room_info为蜘蛛名，“sz.58.com”要爬的域名

运行一个蜘蛛：scrapy crawl room_info

 

遇到的问题：运行蜘蛛，没有进入pipeline中去处理，需要在settings.py中打开pipeline的配置

ITEM_PIPELINES = {

    'MySpider.pipelines.MyspiderPipeline': 300,

}