基于hadoop+hive的全国天气大数据可视化平台

【大数据分析毕设之S2023102基于Hadoop+hive的全国天气大数据分析可视化平台（hive+sqoop+hdfs+E chart）】 https://www.bilibili.com/video/BV1224y1c7eB/?share_source=copy_web&vd_source=3d18b0a7b9486f50fe7f4dea4c24e2a4

http://www.bilibili.com/video/BV1224y1c7eB/?share_source=copy_web&vd_source=3d18b0a7b9486f50fe7f4dea4c24e2a4

随着云计算和物联网的发展，大数据已经成为当今社会必不可少的技术。气象服务的发展，以及气象数据量的快速增长，促使大数据技术在气象服务中发挥着举足轻重的作用，大数据的应用将为气象科学的不断发展提供新的思路和方法。

本文对基础的天气数据信息，进行采集和分析显得尤为必要。我们的气象数据分析系统是以Hadoop的Mapreduce为基础的，前端采用swing编写，后台使用Hadoop集群，数据库使用MySQL，天气数据信息采集与分析，以天气网（www.tianqi.com）为数据源，通过网页爬虫技术，分析网页结构，获取天气数据信息，并存储。然后，通过天气等级划分标准，将文本描述的天气信息量化成天气等级信息。最后，在地图上可视化显示，通过对比分析很容易发现异常点和天气数据信息呈现的规律性信息。

关键词：天气数据；气象数据；大数据分析；Hadoop；可视化

Abstract

With the development of cloud computing and the Internet of Things, big data has become an essential technology in today's society.The development of meteorological services, as well as the rapid growth of meteorological data volume, promotes big data technology to play an important role in meteorological services. The application of big data will provide new ideas and methods for the continuous development of meteorological science.

It is particularly necessary to collect and analyze the basic weather data information.Our meteorological data analysis system is based on Hadoop Mapreduce, written in swing on the front end, Hadoop cluster in the background, database using MySQL, weather data information collection and analysis, weather network (www.tianqi.com) as the data source, through web crawler technology, analysis of web data structure, weather data information, and storage.Then, the weather information described in the text is converted into weather grade information through the weather classification criteria.Finally, visualized on the map, it is easy to find anomalies and weather data information through comparative analysis.

Key words: weather data; meteorological data; big data analysis; Hadoop; visualization

目录

摘  要

Abstract

1.导言

1.4.1 hadoop分布式系统

9. 提供用于管理、检查、优化数据库操作的管理工具。

11.支持多种存储引擎。

1． 是一种解释性脚本语言（代码不进行预编译）。

2. 系统设计

3. 系统详细设计

4. 软件实现

主要代码：

1. 设置响应头防止反爬

2. 设置爬虫的城市

3. 设置爬取的字段名

4. 通过xpath路径获得数据

5. 保存数据

1. 首先是将数据中的空值去除掉

2. 将日期这列划分

3. 对风向这列再次进行划分

4. 查找和替换功能

主要代码：

1.创建ods表

2.插入数据

3创建dwd表

5.创建ads表

6.将查询结果插入到数据中

主要代码：

1. 在mysql中创建相对应表

2. 利用sqoop代码将数据导入到mysql

主要代码：

1. 设置mysql信息

2.设置路由，并查询mysql

1. 获取数据

2. 设置下拉框选择

3. 配置echarts

5.数据展示

6. 总结与展望

7. 参考文献

1.导言

1.1背景

随着科学技术的不断发展，大数据、云计算、人工智能等新一轮信息技术的崛起和深入应用，对气象大数据的分析和展示都充满了挑战。如何从海量数据中提取出有用信息，从而更好地将气象资料和业务系统串联监控起来已经成为气象信息中心的一个热点问题。

而在气象服务领域，从海量的数据信息中做减法，整理、提取相关信息，并用直观的方式对数据信息进行可视化表达，对于满足受众对气象信息需求越来越专业化、对信息读取方式越来越高效化等方面来说，都是最有效手段之一。再加上在气象服务领域涉及到的专业性用语、科学原理等科普性内容日益增多，受到这类受众需求的引领，也推进了气象数据信息可视化在气象服务领域的发展，并成了提升气象服务传播效果的有力途径。

借助可视化的力量，将复杂抽象的数据信息变得更有可读性和观赏性、将生涩的专业词汇转换成通俗的语言并配合易懂的图形动画、将难理解的天气学原理利用气象数据做出让人容易理解的图形表达，以达到受众对传播内容充分理解的目的。通过可视化技术，增强受众对气象信息和科普知识的理解，使传播内容切实为受众服务。

1.2国内和国际背景

早在17世纪80年代，人类就进行了在气象大数据可视化方面的尝试，这次尝试来源于英国科学家埃德蒙·哈雷，凭借整理和计算大量数据的才能，哈雷绘制了世界上第一张载有海洋盛行风分布的气象图，以地图为依托，对信风的分布状况做了全球性的统计分析，并将分布状态生动的展现在世人面前，这也是有史可依的最早的气象数据可视化案例。

如今，气象数据可视化已经发展到了全新的时代。在美国National Weather Service网站上，气象数据信息已经实现了以地图为载体的全面可视化展示，文字描述变成了辅助信息，图形可以一目了然的传达不同地理区划内各类气候历史资料和实时的天气实况、预报数据。

随着气象数据的监测和预报的高度发展、以及自动化水平的不断提升，气象数据信息也正呈现爆发式增长的趋势。而同时，伴随着媒体技术的发展，受众对于气象服务信息的需求也逐步从传统媒体的单向传达向全媒体的交互式体验转变，单一的讲述方式已经不再是让受众接收气象信息的有力途径。而在这个变化的过程当中，人们对于气象信息本身的需求也不再是单一的“明天下雨吗”，而是需要对天气原理、气候统计等方面越来越专业化、深入化的系统解答。这种受众需求的引领，也推动了气象服务向数据信息可视化方向全面发展。