基于大数据的城市租房信息可视化分析系统

Python极客之家

已于 2024-09-05 11:09:36 修改

阅读量1w

点赞数 21

分类专栏： Python-数据挖掘精品实战案例文章标签： python 数据挖掘数据分析网络爬虫大数据

于 2022-06-25 10:04:24 首次发布

本文链接：https://blog.csdn.net/andrew_extra/article/details/125455175

版权

Python-数据挖掘精品实战案例专栏收录该内容

68 篇文章

订阅专栏

温馨提示：文末有 CSDN 平台官方提供的学长 QQ 名片 :)

1. 项目简介

本项目利用 python 网络爬虫抓取某租房网站的租房信息，完成数据清洗和结构化，存储到数据库中，搭建web系统对租房的面积、朝向、有无地铁、公共交通工具等价格影响因素进行统计分析并可视化展示。

基于Python的租房价格数据分析与预测系统

2. 功能组成

在这里插入图片描述

3. 租房信息爬虫

利用 python 的 request + beautifulsoup 从某租房平台抓取深圳（其他城市修改相应的租房网址即可）的租房数据：

def parse_zu_fang_divs(all_zu_fang_divs):
    house_infoes = []
    for zu_fang_div in all_zu_fang_divs:
        try:
            # 标题
            title = zu_fang_div.select('b.strongbox')[0].text.strip()
            props = zu_fang_div.select('p.details-item.tag')[0].text.strip().split(' ')[0].strip()
            # 室厅，面积，所在楼层
            shiting, mianji, louceng = props.split('|')   # 2室1厅|93平米|中层(共26层)
            address_tag = zu_fang_div.select('address.details-item')[0]
            address = address_tag.text.strip()
            xiaoqu, address = address.split('\n')
            # 小区名称
            xiaoqu = xiaoqu.strip()
            address = address.strip()
            qu, data2 = address.split(' ')
            # 小区所在一级区，二级街道
            first_qu, second_jiedao = qu.split('-')

            tags = zu_fang_div.select('p.details-item.bot-tag')[0].text.strip()
            # 标签
            tags = tags.split('\n')
            # 租金
            price = zu_fang_div.select('div.zu-side')[0].text.strip()

            house_infoes.append({
                '小区名称': xiaoqu, '小区所在一级区': first_qu, '二级街道': second_jiedao,
                '室厅': shiting, '面积': mianji, '所在楼层': louceng, '标签': tags, '租金': price
            })
        except:
            pass
    return house_infoes