分布式爬虫之房天下实战(一)

这里我们的目标是爬取全国所有城市的新房和二手房的信息,所以这里我们的目标网站就选用了房天下网站,域名:https://www1.fang.com/
首先先分析网页,观察新房和旧房之间的url地址规律
在这里插入图片描述

发现规律如下:

这里以城市安庆为例:
安庆的url地址: https://anqing.fang.com/
新房url地址: https://anqing.newhouse.fang.com/house/s/
二手房url地址: https://anqing.esf.fang.com/

其他地方房价的url地址规律都和'安庆' 的一样, 但有一个城市比较特别,那就是我们的首都北京:
	北京的新房url地址链接: https://newhouse.fang.com/house/s/
	二手房链接:https://esf.fang.com/

所以,以上就是我们二手房的所有规律了。

实现步骤

因为爬取的数量比较大,所以使用scrapy_redis组建成分布式爬虫,但是要想运行一个分布式爬虫,首先得能够在单机爬虫上运行起来,所以我们先在scarpy框架上创建一个普通的爬虫,继承的类为scrapy.Spider,start_url就以全国城市所有初始链接的域名网站:添加链接描述
在这里插入图片描述
创建之后的目录为:
在这里插入图片描述
这样一个初始的模板就完成了。

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页