链家网页爬虫_链家房源爬虫（含源码）

链家APP上有很多在售房源信息以及成交房源信息，如果可以把这些信息爬下来，可以得到很多有价值的信息。因此本文将讲一讲如何爬取这些数据，并保存下来供以后分析。

本文将介绍以下几个方面：

程序介绍该程序支持爬取链家在线二手房数据，历史成交数据，在线租房数据和指定城市所有小区数据。

数据存储目前支持三种数据库格式(mysql，postgreSql, Sqlite3)。

由于链家网采取对IP限流设置，所以该程序没有采取多线程爬取，并且限制了爬取速度来防止被封。

提供mysql数据转到ES的解决方案，方便进行数据可视化分析。

使用教程

1. git clone https://github.com/XuefengHuang/lianjia-scrawler.git

2. cd lianjia-scrawler

# If you'd like not to use [virtualenv](https://virtualenv.pypa.io/en/stable/), please skip step 3 and 4.

3. virtualenv lianjia

4. source lianjia/bin/activate

5. pip install -r requirements.txt设置数据库信息以及爬取城市行政区信息(支持三种数据库格式)

DBENGINE = 'mysql' #ENGINE OPTIONS: mysql, sqlite3, postgresql

DBNAME = 'test'

DBUSER = 'root'

DBPASSWORD = ''

D