Scrapy 爬取链家租房价格信息

北漂的我，前两天准备换个房住，房源信息平台太多，看的人都懵逼了，不知道到底那一片的房子是比较合适的（主要是便宜，又没有太多坑，没办法谁让我穷），于是在git上找了个爬虫项目，爬取一下北京各个片区的房源信息，做个汇总分析。

git上的项目都有点久远，大概是一两年前的写出来的代码，经过使用发现代码中的爬取规则早已不适用于现在 网的HTML结构。经过一段时间的调试改造后可以适用于现在的网页。

最新维护时间  2022.4月

感兴趣的可以下载下来试一试。

 项目git地址

GitHub - Boris-2021/lianjia_scrapy: 链家爬虫程序，基于scrapy爬虫框架https://github.com/Boris-2021/lianjia_scrapy

项目代码结构

                     

如何使用

如何选择目标城市进行爬取

以爬取链家北京地区网站上的信息为例

 

 你只需要在spyder.py文件中更改必要的网站链接！！

<https://bj.lianjia.com/zufang> 这个网页是北京地区的链接

 

注意：链接前边这两个字母表示城市首字母的缩写 ！！！

北京是这样<https://bj.lianjia.com/zufang>

杭州则是这样<https://hz.lianjia.com/zufang>

所以你想要爬取某个城市的数据的话，你只需要更改spyder.py文件中所有链家URL中，代表地区的这两个子母。

如何启动爬虫项目

scrapy常用命令参考

Scrapy常用命令_云飞扬°的博客-CSDN博客_scrapy命令一、全局命令1-startproject创建一个新的Scrapy项目：scrapy startproject <project_name> [project_dir]例如：scrapy startproject Crawler51job【注意】项目名称不能以数字开头2-genspider在当前文件夹或者当前项目，创建一个新的爬虫文件scrapy g...https://blog.csdn.net/weixin_44706512/article/details/99729394相信你在前边已经改好了你想要爬取城市的URL。对于本项目，运行爬虫你只需要在下边的terminal中敲入如下命令：

scrapy crawl lianjia

 查看数据

启动之后，经过一段时间的爬取后，

爬取的过程的logj记录在.log文件中，可供查爬取的情况。

爬取的数据结果记录在生成的.json文件中。

 

 

< 解析json2csv.py>脚本帮助你将最终爬取的json格式数据转换为表格形式csv。

<数据处理.py>脚本可以帮助你将csv文件中重复的样本去掉。

项目git地址

GitHub - Boris-2021/lianjia_scrapy: 链家爬虫程序，基于scrapy爬虫框架https://github.com/Boris-2021/lianjia_scrapy