基于大数据的城市租房信息可视化分析系统

温馨提示:文末有 CSDN 平台官方提供的学长 QQ 名片 :) 

1. 项目简介

        本项目利用 python 网络爬虫抓取某租房网站的租房信息,完成数据清洗和结构化,存储到数据库中,搭建web系统对租房的面积、朝向、有无地铁、公共交通工具等价格影响因素进行统计分析并可视化展示。

        B站详情与代码下载:基于Python的租房价格数据分析与预测系统_哔哩哔哩_bilibili

基于Python的租房价格数据分析与预测系统

2. 功能组成

在这里插入图片描述

3. 租房信息爬虫

        利用 python 的 request + beautifulsoup 从某租房平台抓取深圳(其他城市修改相应的租房网址即可)的租房数据:

def parse_zu_fang_divs(all_zu_fang_divs):
    house_infoes = []
    for zu_fang_div in all_zu_fang_divs:
        try:
            # 标题
            title = zu_fang_div.select('b.strongbox')[0].text.strip()
            props = zu_fang_div.select('p.details-item.tag')[0].text.strip().split(' ')[0].strip()
            # 室厅,面积,所在楼层
            shiting, mianji, louceng = props.split('|')   # 2室1厅|93平米|中层(共26层)
            address_tag = zu_fang_div.select('address.details-item')[0]
            address = address_tag.text.strip()
            xiaoqu, address = address.split('\n')
            # 小区名称
            xiaoqu = xiaoqu.strip()
            address = address.strip()
            qu, data2 = address.split(' ')
            # 小区所在一级区,二级街道
            first_qu, second_jiedao = qu.split('-')

            tags = zu_fang_div.select('p.details-item.bot-tag')[0].text.strip()
            # 标签
            tags = tags.split('\n')
            # 租金
            price = zu_fang_div.select('div.zu-side')[0].text.strip()

            house_infoes.append({
                '小区名称': xiaoqu, '小区所在一级区': first_qu, '二级街道': second_jiedao,
                '室厅': shiting, '面积': mianji, '所在楼层': louceng, '标签': tags, '租金': price
            })
        except:
            pass
    return house_infoes

4. 基于大数据的城市租房信息可视化分析系统

4.1 系统注册登录

4.2 租房小区名称关键词抽取并词云分析

4.3 城市不同区域租房数量分布情况

​4.4 城市不同区域租房房价分布散点图

​ 4.5 不同地区租房房源数与平均租房价格的分布情况

4.6 城市各区域租房房价格分布箱线图

4.7 深圳租房单价最高Top20

4.8 房价影响因素分析

4.8.1 小区所在一级区域

4.8.2 租房面积

​4.8.3 房屋朝向

4.9 基于决策树算法的房租预测模型

       构建决策树机器学习算法,利用采集的租房数据进行模型训练和验证,集成到web系统中,实现交互式房租预测:

5. 结论

        本项目利用 python 网络爬虫抓取某租房网站的租房信息,完成数据清洗和结构化,存储到数据库中,搭建web系统对租房的面积、朝向、有无地铁、公共交通工具等价格影响因素进行统计分析并可视化展示。

欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码

精彩专栏推荐订阅:

1. Python 毕设精品实战案例
2. 自然语言处理 NLP 精品实战案例
3. 计算机视觉 CV 精品实战案例

  • 14
    点赞
  • 122
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
### 安居客出租房(武汉为例)爬虫+数据分析+可视化 这个爬虫是我前段时间在淘宝上做单子的时候遇见的一个客户需求。本来以为就是一个简单的爬虫项目。但后面客户加了数据清洗和数据分析的要求。而后又加了要详细代码解释的需求等等。直到最后客户坦白说这是他们大专的毕设.......但是这个单子坐下来只有200左右,我想了一下,感觉好亏啊。在淘宝上随便找一个做毕设的都要好多钱的,而且客户本身的代码能力、数学、逻辑能力都很差,导致我每行都给注释以及看不懂,在我交付代码后又纠缠了我一个多礼拜。反正总体做下来的感觉就是烦躁。头一次感觉到了客户需求变更带来的巨大麻烦。 总之这是一次不是很愉快的爬虫经历。但是作为我写爬虫以来注释最详细的一次,以及第一次真正使用像matplotlib这种数据分析库的代码,我认为还是有必要分享出来给大家当个参考的(PS:大佬轻拍~)。爬虫本身几乎没有什么难度,写的也比较乱,敬请见谅。 **功能** 爬取安居客上的出租房信息(武汉地区的),并通过爬取的数据进行数据清洗以及数据分析。给出四个不同层面的可视化图。最终结果如下图所示: ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/1.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/2.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/3.png) ![Image text](https://raw.githubusercontent.com/srx-2000/git_spider/master/anjuke_room_rent_info/result/4.png) **环境** 1. Windows 10 2. python3.7 **使用方法** 首先声明该爬虫由于是特定情况下写的,所以本身的通用性特别差,仅可以对安居客网站上的武汉的出租房信息进行爬取,且需要自己手动更新cookie。同时在对数据进行分析可视化的时候由于也是特别针对武汉出租房的进行的,所以针对性也比较强。如果别的需求需要自己进行更改。 1. 访问[安居客网址](https://wuhan.anjuke.com/),获取cookie。 > tip:获取cookie的方法可根据[此链接](https://jingyan.baidu.com/article/5d368d1ea6c6e33f60c057ef.html) 2. 在项目中找到`spider.py`的文件,将第12行的cookie换成你自己的cookie。 3. 运行`spider.py`,获取房源信息。运行后应会产生一个`武汉出租房源情况.csv`的文件。此文件为我们从安居客上爬取的房源信息,其中包含`房屋租住链接、房屋描述、房屋地址、房屋详情(户型)以及经纪人、房屋价格`五个属性。 4. 在获取了数据之后我们运行`matplotlib.py`文件。进行数据清洗,分析可视化。运行后即可获得**功能**中展示四个图片。 **技术栈** 1. request 2. parsel 3. pandas 4. matplotlib **进步(相比之前)** 此次爬虫相比之前的技术上可以说有减无增。但其中注释相当详细,可谓是每行代码都有注释。所以对于初学者应该有一些用处。同时使用matplotlib进行了数据分析可视化等。对于数据处理的代码的注释也是几乎每行都有注释的。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Python极客之家

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值