基于Scrapy框架爬取租房网站数据及可视化分析

收藏关注不迷路

---

前言

  如今这个大数据时代，面对网络上浩如烟海的信息，如何从中提取有效信息成为问题。本文基于Scrapy框架以杭州链家网租房信息为对象，爬取租房信息，其中为突破爬虫封锁采用IP代理池、布隆去重等多种方法。同时将数据存储于数据库，并利用Pandas清洗数据。最后将数据利用Flask和Echarts在前端以图表的形式输出，并分析得出杭州租房面积和金额的分布，房源大多集中在余杭区和萧山区，租房价格滨江区最贵、租房楼层一般是高楼层等结论，为租客提供参考。
关键词：Scrapy；网络爬虫；反爬虫；URL去重；数据可视化

一、功能介绍

  本课题着眼于大数据互联网时代下的信息获取以及数据可视化分析，以杭州链家网中的租房信息为研究对象，利用Scrapy框架实现链家网租房信息爬虫并爬取数据，利用MySQL数据库作为前端和采集的枢纽存储数据。对于原始数据还需要对数据进行分析和处理，除去数据中的脏数据并规范化数据以方便后面的数据可视化。最后将数据用图表的方式输出，对租客有一定的指导作用，让其能更明确地去寻找租房信息。

二、开发环境

开发语言：Scrapy， scrapy框架
软件版本：python3.7/Scrapy
数据库工具：Navicat11
开发软件：PyCharm/vs code

————————————————

三、系统总体结构设计

本系统将大致分为四个模块，数据采集模块、数据存储模块、数据处理模块、数据可视化模块，如图4-1所示。数据采集模块负责爬取链家网数据；数据存储模块负责存储采集的数据；数据处理模块负责将采取的原始数据进行规范化、量化处理，为后续的数据可视化打下基础；数据可视化模块负责提供一个web平台将数据用图形化的手段展示给用户。

图4-2 链家网杭州租房主页面

4.2 数据采集模块

首先要明确需要爬取的网页的结构，链家网上杭州租房的主页面如图4-2所示，第一个红框中显示了杭州的各个行政区，第二个红框显示了价格分段。根据对于网站结构的分析发现，当房屋数量过多时，网页只能显示前100页的数据，所以