大数据毕业设计：基于python天气数据可视化系统+爬虫气象数据可视化 Flask框架（源码+文档）✅

最新推荐文章于 2024-05-30 18:05:01 发布

q_3548885153

最新推荐文章于 2024-05-30 18:05:01 发布

阅读量584

点赞数 18

分类专栏：毕业设计 biyesheji0001 biyesheji0002 文章标签： python 大数据课程设计毕业设计天气气象天气数据

本文链接：https://blog.csdn.net/q_3548885153/article/details/138818741

版权

毕业设计同时被 3 个专栏收录

88 篇文章 31 订阅

订阅专栏

biyesheji0001

88 篇文章 52 订阅

订阅专栏

biyesheji0002

88 篇文章 8 订阅

订阅专栏

毕业设计：2023-2024年计算机专业毕业设计选题汇总（建议收藏）

毕业设计：2023-2024年最新最全计算机专业毕设选题推荐汇总

🍅感兴趣的可以先收藏起来，点赞、关注不迷路，大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助同学们顺利毕业。🍅

1、项目介绍

技术栈：
Python语言、MySQL数据库、Flask框架、Echarts可视化、中国天气网数据、requests爬虫技术、LayUI框架、HTML

关键词：数据可视化；Python；Echart；Flask；爬虫；气象

2、项目界面

（1）天气气象数据可视化大屏

在这里插入图片描述

（2）气象数据

在这里插入图片描述

（3）后台控制界面

在这里插入图片描述

（4）爬虫日志

在这里插入图片描述

（5）注册登录界面

在这里插入图片描述

（6）Python爬虫程序

在这里插入图片描述

3、项目说明

中国气象质量大数据展示与分析系统，通过使用python爬虫技术对中国气象数据进行实时获取，然后利用相关数据清洗以及数据库处理技术存入数据库，再通过Python Web框架也就是Flask框架进线系统后台数据接口开发，通过Echarts技术进行数据分析可视化展示以及通过LayUI前端技术开发后台数据管理页面从而来完成我们最终的中国气象数据可视化系统。
本文主要通过研究背景，对项目意义进线分析讨论；通过技术分析对项目技术架构选型进行敲定，根据系统需求分析和可行性分析来确定系统的主要功能结构。最后通过系统概要设计、数据库设计将设计的功能进行初步的建模。通过系统设计与实现以及测试阐述系统开发内容以及测试系统功能的正确性。从而最终完成系统的设计与实现。

关键词：数据可视化；Python；Echart；Flask；爬虫；气象

在这里插入图片描述

4、核心代码

步骤1：设置请求头
	 self.baseUrl = r"http://d1.weather.com.cn/sk_2d/"
        self.headers = {'Accept': "*/*",
                        'Accept-Encoding': 'gzip, deflate',
                        'Accept-Language': 'keep-alive',
                        'Connection': '',
                        'Cookie': 'f_city=北京|101010100|; Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1637305568,1637734650,1639644011,1639710627; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1639723697'.encode("utf-8").decode("latin1"),
                        'Host': 'd1.weather.com.cn',
                        'Referer': 'http://www.weather.com.cn/',
                        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36', }
        self.loadList = []
        self.cityList = []  # 格式为：列表里面的子列表都是一个省份的所有城市，子列表里所有元素都是字典，每个字典有两项
        self.cityDict = {}
        self.result = xlwt.Workbook(encoding='utf-8', style_compression=0)
        self.sheet = self.result.add_sheet('result', cell_overwrite_ok=True)
        self.cityRow = 0
        self.totalGet = 0	
步骤2：发送请求
                self.totalGet = self.totalGet + 1
                self.sheet.write(self.cityRow, 0, city)  # 写当前城市名
                PageUrl = self.baseUrl + id + ".html?_" + str(int(time.time() * 1000))
                response = requests.get(PageUrl, headers=self.headers, allow_redirects=False)
                response.encoding = "utf-8"
                self.htmlResult = response.text	
步骤3：解析数据并保存到数据库
data = json.loads(self.htmlResult.replace("var dataSK=", ""))
                nameen = data["nameen"]  # 城市拼音
                cityname = data["cityname"]  # 城市名称
                temp = data["temp"]  # 当前温度
                WD = data["WD"]  # 风向
                WS = data["WS"].replace("级", "")  # 风力
                wse = data["wse"].replace("km/h", "")  # 风速
                sd = data["sd"].replace("%", "")  # 湿度
                weather = data["weather"]  # 天气
                record_date = data["date"]  # 时间
                record_time = data["time"]  # 时分
                aqi = data["aqi"]  # 时分
                judge_sql = "select count(id) from `weather` where nameen = '" + nameen + "' and cityname='" + cityname + "' and record_date='" + record_date + "' and record_time='" + record_time + "'";
                sql = "INSERT INTO `weather` VALUES (null, '" + nameen + "', '" + cityname + "', '" + record_date + "', '" + record_time + "', " + str(
                    temp) + ", '" + WD + "', " + WS + ", " + wse + ", " + sd + ", '" + weather + "', " + aqi + ", '" + time.strftime(
                    "%Y-%m-%d %H:%M:%S", time.localtime()) + "',0);"
                i = query(judge_sql)[0][0]
                if int(i) > 0:
                    print("跳过：", judge_sql)
                    continue
                update_sql = "update `weather` set is_old=1 where nameen = '" + nameen + "' and cityname='" + cityname + "'";
                print("插入：", sql)
                query(update_sql)
                query(sql)