基于Python的房产数据爬取及可视化分析系统的设计与实践

设计的基本内容

本设计主要为了解决民生如何找到合适房源的问题，通过此项目进行石家庄地区的房产价格数据可视化并对其进行分析，可以为用户挖掘出隐藏在网络数据中的所有房源的分布情况以及价格等特征走向，帮助用户做出更好的决策体征数据，，探索石家庄房建筑面积、位置、户型等对石家庄房价的影响情况。此项目是以Django为框架，采用Python语言，对石家庄地区的房价数据进行采集，并通过MySQL数据库进行保存。

设计的目标 

对基于Python的石家庄市房产数据可视化分析相关的系统以及论文资料进行研究和了解，分析对于房价数据分析研究的研究背景、目的和意义，并且从国内和国外两个方面，分析石家庄市房产数据可视化分析在理论和实际工作中的研究状况，寻找问题，并通过设计的项目有效解决问题。

设计系统的总体结构，进行具体实现和设计以及优化，完成系统设计之后，最后进行项目的运行和优化。

采用的技术方案及措施

开发环境：

使用Windows10操作系统，Python版本为3.8，使用框架Django，使用MySQL5.7版数据库存储数据。

主要技术：

前端使用HTML+CSS+JavaScript+Django 进行开发。本系统设计时用到的主要工具有PyCharm2020编写Python、Navicat Premium 15连接数据库MySQL。

本设计侧重完成对石家庄地区房价数据的采集，并将采集的数据通过数据可视化进行分析。随着我国网络空前迅速的发展，人们的衣食住行都开始逐渐依赖网络，人们对于房产价格的关注度越来越高，本项目通过对石家庄房产数据的可视化分析使人们对房价一目了然，满足人们便利的要求，可以更加方便快捷了解的房价信息，对人们购房具有很大帮助。

1. 本设计包括数据采集、数据分析、数据可视化、数据保存等几部分；

2. 数据清洗，对数据进行规范化操作；

3. 对数据进行探索分析，计算得到有效的健康数据；

4. 通过简单概括性分析检查下数据是否损失严重；

5. 得到的正常数据将通过可视化分析制作成图形图表；

6. 对项目进行检查，是否需要修改；

环境需要

1.运行环境：python3.7/python3.8。

2.IDE环境：pycharm+mysql;

3.数据库工具：mysql

4.硬件环境：windows 7/8/10 1G内存以上；或者 Mac OS；

5.数据库：MySql 5.7版本；

技术栈

后端：python+django

前端：vue+CSS+JavaScript+jQuery+elementui

目录

1 绪论2

1.1研究背景2

1.2研究现状2

1.3研究内容3

1.4论文结构3

2 相关技术与系统分析5

2.1 相关技术5

2.1.1python概述5

2.1.2MySQL数据库概述5

2.1.3PyCharm集成开发环境6

2.1.4网络爬虫6

2.1.5Matplotlib图形库6

2.1.6数据库访问技术7

2.2 可行性分析7

2.2.1经济可行性分析7

2.2.2技术可行性分析8

2.2.3操作可行性分析8

2.3 需求分析8

2.3.1性能需求8

2.3.2功能需求9

3 系统设计9

3.1 系统功能设计9

3.2 网页抓取设计10

3.3 数据存储设计11

3.4 数据整理设计11

3.5 数据分析设计11

3.6 数据库设计12

3.7 爬虫算法设计12

4 系统实现14

4.1 系统设计思想14

4.2 网页抓取实现14

4.3 数据存储实现16

4.4 数据整理实现17

4.5 数据分析实现18

5 系统测试20

5.1 测试方法20

5.2 测试用例20

5.2.1网页数据抓取测试20

5.2.2数据分析功能测试21

结论21

参考文献23

致谢24