python爬虫-之前接的一家长租公寓的项目

长租公寓项目

项目描述：

公司想通过目前中国长租公寓的信息，比如：长租公寓品牌（比如自如、蛋壳、优逸客家等多个品牌）、房源位置（这里具体到省、市、区、小区名），房源个数，房屋设备、位置优势、租房价格等，去分析不同公寓品牌在不同城市的服务情况。从而去决策租房的消费情况和各个品牌的一个个走势。最终以热力图、折线图等呈现出来。

项目流程：

1.从网上抓取各个品牌的f房源信息
2.进行数据预处理、清洗、去重等
3.数据仓库，进行分析
4.数据挖掘、算法分析
5.可视化展示

项目实现：

1.采用python3进行爬取数据
2.spark进行数据预处理
3.hive作为数据仓库
4.算法模型，将最终数据落到MySQL中
5.可视化展示