链家租房数据抓取流程、分析

一、抓取前准备工作：

1、创建一个爬虫项目：在指定的文件夹中 scrapy startproject xxx(项目名)
2、在项目的spiders的目录中创建爬虫：scrapy genspider bd.py baidu.com
3、在setting中修改robot协议为False，表示不遵守robot协议
4、启动爬虫：scrapy crawl bd --nolog 不打印日志启动，在爬虫正常情况下使用
            scrapy crawl bd         打印日志启动，在爬虫没有正常返回情况下使用
            命令scrapy crawl是固定的，bd表示定义的爬虫名称
5、爬虫启动后，自动去获取start_urls，下载相应的页面，返回给parse函数（固定）

1、scrapy genspider boss zhipin.com 是创建爬虫spider文件的命令
其中scrapy genspider是固定的，boss是爬虫的名称，zhipin.com表示此爬虫可以爬取的域名

2、修改start_urls,然后在parse函数中打印response

3、在setting中添加 HTTPERROR_ALLOWED_CODES = [403],表示可以接收的状态码

4、由于返回403，需要加上请求头，在setting中打开 USER_AGENT = 'mySpider (+http://www.yourdomain.com)' 给请求加上请求头

5、明确爬虫的目标，在items.py中设置需要爬取的字段

6、书写parse函数，获取相应的字段数据

7、将数据存放到item实例当中，返回给pipeline，记得打开se