python+selenium实现链家网二手房网站数据爬虫

意义：

网络爬虫作为连接信息世界的纽带，具有重要的意义。它通过收集和提取互联网上的数据，为搜索引擎、数据分析和机器学习等领域提供了宝贵的资源。

二手房数据爬虫和可视化的意义在于能够帮助我们更好地了解和分析房地产市场，为我们提供更准确的信息和决策依据，同时也为房地产从业者提供市场分析和预测的依据。通过爬取二手房数据并进行可视化分析，可以得到各区房价情况、房价总价分布情况、房间类型受关注情况、朝向单价影响程度等信息，这些信息可以帮助购房者更好地了解市场行情，选择合适的房源；同时，房地产从业者也可以通过这些信息进行市场分析和预测，制定更科学的销售策略和定价策略。此外，二手房数据爬虫和可视化也是数据分析和可视化技术的应用实践，对于数据分析和可视化领域的学习和研究也具有一定的参考价值。

工作内容：

1、确定目标网站：选择链家网网站作为目标网站，并了解网站的结构和数据展现的方式；

2、数据采集与数据清洗：使用selenium库自动化浏览链家网，并采集所需的二手房数据（如每个二手房的标题、售价、单价、小区、商圈、户型等信息），在爬取的过程中对数据进行清洗，去除无效和重复的数据，确保数据的准确性和完整性；

3、数据存储：将清洗后的数据存储到csv文件中，以便后续的数据分析和可视化；

4、进行数据处理和数据可视化图的制作；

5、搭建Flask框架，实现不同路由地址请求返回不同的可视化数据图；

6、使用pyqt5设计GUI功能按钮界面，设计不同按钮实现不同可视化数据图路由地址的访问。

• 课题预期达到的效果：

1、代码可以完整运行并不会报错；

2、完成爬虫的基本过程；

3、基本能实现从网页中采集数据并进行存储；

4、不同路由地址能够返回相应的可视化数据图；

5、实现GUI功能界面不同按钮能够模拟请求访问不同路由地址，实现不同可视化数据图的展示。