基于大数据的房价分析

大二自学的是python和java,大三却找了个和前端相关的实习工作,好在不是很忙,工作之余做一些自己以前想做懒得做的东西,复习一下python和java,也能增强自己的工作技能,第一个项目就是基于房价的大数据分析

1.前置准备

1.工具

使用的是python2.7下的scrapy爬虫框架,用到的包还有lxml,BeautifulSoup,requests等等

2.爬取目标

目前网络上发布房屋买卖信息的网站不少,我选择了信息量比较大的五八同城网站,当然,由于是比较大的网站,反扒的措施自然也不会少,爬取的信息主要有,房屋地址,房屋大小,房间数量,房屋朝向,房屋层数,每平米售价,总售价,详情页面等等

3.后端

使用mongodb存储房屋数据,使用百度地图API将地址信息解析为坐标信息,使用springmvc框架搭建项目,使用阿里云服务器发布项目

4.前端

使用echarts图表工具进行数据可视化.jquery进行元素选择

2.结果

发现echarts的散点图类型在数据量比较大的时候会非常卡,用武汉市举例子如下

1.五百数据量状态

可以看出,在五百数据量的状态下,数据刷新非常快,用于显示区域内房价总体信息雷达图也刷新的很快

2.一千数据量状态

在一千数据量状态下略微有些卡顿

2.一万数据量状态