毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统

研究内容

数据的分析展示使用ECharts图表库，根据需求设计各类图表，并提供交互式操作，使用户能够灵活地进行数据分析和展示[13]。首先利用Python编程语言，结合第三方爬虫Scrapy框架，编写爬虫程序，实现对民宿的民宿描述、位置、价格、面积、户数、类型、床数、宜住人数、评分、点评数等数据的定向抓取。获取数据后接下来进行数据的预处理操作，在Linux虚拟机上开启已经搭建好Hadoop集群的服务器并启动Hadoop集群，将爬取的数据以文件的形式上传至HDFS中，并编写MapReduce程序对爬取的数据实现数据清洗操作。接下来将已清洗的数据加载至Hive数据仓库中并使用Hive自带的类SQL语言对数据进行数据分析，例如描述性统计、区域对应民宿均价、区域对应民宿评分均值、区域对应民宿平均户数、用户评价关键词等词频统计等。最后引入ECharts图表库，使用HTML、CSS和JavaScript等前端技术，设计各类图表。该系统具有数据获取及时准确、存储高效、分析结果直观等特点，可为民宿行业决策者提供更准确的数据支持和分析结果。