毕业设计-基于spark的天气数据分析系统（案例分析）-附源码

摘 要

信息化社会内需要与之针对性的信息获取途径，但是途径的扩展基本上为人们所努力的方向，由于站在的角度存在偏差，人们经常能够获得不同类型信息，这也是技术最为难以攻克的课题。针对天气数据等问题，对天气数据进行研究分析，然后开发设计出天气数据分析系统以解决问题。

天气数据分析系统主要功能模块包括系统首页、网站管理（轮播图、网站公告）人员管理（管理员、注册用户）内容管理（天气资讯、资讯分类）模块管理（历史天气、城市气温、省份气温、天气预测、气候分类）个人管理，采取面对对象的开发模式进行软件的开发和硬体的架设，能很好的满足实际使用的需求，完善了对应的软体架设以及程序编码的工作，采取Mysql作为后台数据的主要存储单元，采用Python技术、Ajax技术进行业务系统的编码及其开发，实现了本系统的全部功能。本次报告，首先分析了研究的背景、作用、意义，为研究工作的合理性打下了基础。针对天气数据分析系统的各项需求以及技术问题进行分析，证明了系统的必要性和技术可行性，然后对设计系统需要使用的技术软件以及设计思想做了基本的介绍，最后来实现天气数据分析系统和部署运行使用它。

关键词：天气数据；Python技术；Mysql数据库

Weather data analysis system based on spark

Abstract

In the information society, there is a need for targeted access to information, but the expansion of the access is basically the direction of people's efforts. Because of the deviation in the perspective, people can often obtain different types of information, which is also the most difficult subject for technology to overcome. In view of the weather data and other problems, the weather data is studied and analyzed, and then the weather data analysis system is developed and designed to solve the problem.

The main functional modules of the weather data analysis system include the system home page, website management (rotation chart, website announcement), personnel management (administrator, registered user), content management (weather information, information classification), module management (historical weather, urban temperature, provincial temperature, weather forecast, climate classification), personal management, and object-oriented development mode for software development and hardware installation, It can well meet the needs of actual use, improve the corresponding software installation and program coding work, take MySQL as the main storage unit of background data, use Python technology and Ajax technology to code and develop the business system, and realize all functions of the system. This report first analyzes the background, role and significance of the research, laying a foundation for the rationality of the research work. This paper analyzes the various requirements and technical problems of the weather data analysis system, proves the necessity and technical feasibility of the system, and then makes a basic introduction to the technical software and design ideas needed to design the system, and finally realizes the weather data analysis system and deploys and runs it.

Key words: weather data; Python technology; MySQL database

目  录

第1章 绪论

1.1 研究背景

1.2 开发现状

1.3 研究方法

第2章 相关技术介绍

2.1 开发技术说明：

2.2 Python简介

2.3 spark框架介绍

2.4 Mysql数据库

2.5 B/S体系工作原理：

第3章 系统分析

3.1 可行性分析

3.2 功能需求分析

3.2.1 前台用户功能

3.2.2 后台管理员功能

3.3 非功能需求分析

3.4 安全性需求分析

3.4.1 系统的安全性

3.4.2 数据的安全性

3.5 数据流程分析

第4章 系统设计

4.1 系统架构设计

4.2 系统总体设计

4.3 系统功能设计

4.4 数据库设计

4.4.1 数据需求分析

4.4.2 数据库概念设计

4.4.3 数据库表设计

第5章 系统实现

5.1 数据库访问层的实现

5.2 注册模块的实现

5.3 登录模块的实现

5.4 用户资料修改模块的实现

5.5 天气资讯展示模块的实现

5.6 天气数据统计模块的实现

第6章 系统测试

6.1 测试目的

6.2 功能测试

6.3 性能测试

第7章 总结与展望

参考文献

致谢

1. 绪论
   1. 研究背景

当今社会，竞争激烈，企业乃至国家之间，竞争的是资源。比资源更为重要的是―一信息"。信息在现代经济生活中的作用越来越大，已经成为市场竞争的重要手段。对于企业来说，信息的重要性更是不言而喻。缺乏信息，即使有了资金、厂房、物资和能源，办企业也十分困难，因为企业没有生命力。因而，信息是最重要的资源，谁占有的信息多、掌握的信息准确，谁就有了权威，有了制胜的先机。

然而，随着现代社会人们获得信息的渠道越来越广泛，除了报纸、广播、电视等传统渠道，互联网、手机以及目之所及的户外大屏幕等新型渠道的加入，使得人们获取各类信息的途径不断增加，尤其是人们对信息重要程度的认识越来越普及和深入，信息垄断被打破，大量的信息被人们所共享。

古有飞鸽传书，可传战事之急;今有天气数据，可测明日风云。

1. 1. 开发现状

气象事业是科技型、基础性社会公益事业。天气、气候和气候变化，与政治、经济、国防和人民生活密切相关，事关国民经济和社会发展的方方面面，事关人民群众的生产生活和切身利益，事关党和政府重大决策的实施。

在全球气候变暖背景下，世界范围的极端天气气候事件有增多趋势，异常天气现象越来越频繁，气象灾害的破坏性越来越大，引起了国际社会的高度关注l5'。气象科技竟争日趋激烈，在应对气候变化和支撑国际谈判中的基础性地位日益提升。

按照著名的“德尔菲气象定律”:企业气象投入与产出比为198，即在气象信息上每投资1元，便可以得到98元的经济回报6。

在德国，气温超过22摄氏度，啤酒开始畅销;气温再每上升1摄氏度，大瓶装的啤酒每天会多销230万瓶。德国气象公司由此开发了“啤酒指数”"7'。此外，类似的还有乘车指数、冰激凌指数、泳装指数、食品霉变指数等，商家可据此提前制订生产营销计划。精明的商家根据天气数据的情况，就能提前确定库存和商品品种。

虽然目前我国气象服务的生产活力还未全面显现，气象服务市场的开发还存在一定的问题，但可以肯定的是，随着经济的发展与国民生活质量的提高和气象科技的进一步发展、气象服务领域的进一步拓宽、适应市场经济发展的气象服务体系的健全，气象服务必将进入人们生活的方方面面，气象服务的市场将得到更广阔的发展空间!8。

不久的将来，高德地图将告诉你15分钟后一公里内的天气状况，以及某条街道24小时前刮过很大的西北风%。当你在暴雨中行驶时，高德地图会提醒你:“前方道路已严重积水，您的车辆驶入可能会被水淹，建议您绕道。”

总而言之，气象事业正处于朝阳阶段，以此为依托的各种天气数据软件层出不穷，呈现一片欣欣向荣景象。

1. 1. 研究方法

首先，通过引擎搜索或者查阅相关文献资料，了解了本系统开发的背景以及设计系统的意义所在，收集用户需求信息。其次，在开发工具上，最终确定选用Python平台来设计开发本系统，Mysql作为设计数据库的工具。即利用Python语言实现用户界面，并同数据库连接起来实现完整的通信功能。之后，设计出系统大致的功能模块。主要从方便系统用户和系统管理员的角度进行分析，明确该系统应该具有的功能。最终是测试系统，通过用例测试发现存在的问题并找到解决的方案。利用现有的开发平台，结合自己所学的知识，在老师的指导帮助下来完成该设计，确保系统的可用性、实用性。

1. 相关技术介绍
   1. 开发技术说明：

本系统前端部分基于MVVM模式进行开发，采用B/S模式，后端部分基于python的spark框架进行开发。

前端部分：前端框架采用了比较流行的渐进式JavaScript框架Vue.js。使用Vue-Router和Vuex实现动态路由和全局状态管理,Ajax实现前后端通信，Element UI组件库使页面快速成型，项目前端通过栅格布局实现响应式，可适应PC端、平板端、手机端等不同屏幕大小尺寸的完美布局展示。

后端部分：采用spark作为开发框架，同时集成Redis等相关技术。

1. 1.  Python简介

Python 是一个高层次的脚本语言结合了解释性、编译性、互动性和面向对象的。Python 的设计，相比其他语言经常使用英文关键字和其他语言的一些标点符号，它具有比其他语言更有特色语法结构，具有很强的可读性。

解释型语言：类似于Python和Perl语言，这意味着开发过程中没有了编译这个环节。

交互式语言：可以在一个 Python 提示符 >>> 后直接执行代码。

面向对象语言：Python支持面向对象的风格或代码封装在对象的编程技术。

1. 1.  spark框架介绍

Spark Streaming:构建在Spark上处理Stream数据的框架，基本的原理是将Stream数据分成小的时间片段(几秒)，以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引擎(100ms+)，虽然比不上专门的流式数据处理软件，也可以用于实时计算，另一方面相比基于Record的其它处理框架(如Storm)，一部分窄依赖的RDD数据集可以从源数据重新计算达到容错处理目的。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。方便了一些需要历史数据和实时数据联合分析的特定应用场合。

1. 1. Mysql数据库

Mysql 经过多次的更新，功能层面已经非常的丰富和完善了，从Mysql4版本到5版本进行了比较大的更新，在商业的实际使用中取得了很好的实际应用效果。最新版本的Mysql支持对信息的压缩，同时还能进行加密能更好的满足对信息安全性的需求。同时经过系统的多次更新，数据库自身的镜像功能也得到了很大的增强，运行的流畅度和易用性方面有了不小的进步，驱动的使用和创建也更加的高效快捷。最大的变动还是进行了空间信息的显示优化，能更加方便的在应用地图上进行坐标的标注和运算。强大的备份功能也保证了用户使用的过程会更加安心，同时支持的Office特性还支持用户的自行安装和使用。在信息的显示形式上也进行了不小的更新，增加了两个非常使用的显示区，一个是信息区，对表格和文字进行了分类处理，界面的显示更加清爽和具体。第二是仪表的信息控件，能在仪表信息区进行信息的显示，同时还能进行多个信息的比对，为用户的实际使用带来了很大的便捷[8][9]。

针对本文中设计的天气数据分析系统在实际的实现过程中，最终选择Mysql数据库的主要原因在于在企业的应用系统应用及开发的过程中会存在大量的数据库比较频繁的操作，而且数据的安全性要求也是非常的高。综合这些因素，最终选择安全性系数比较高的Mysql来对天气数据分析系统后台数据进行存储操作。

数据库管理系统的总体结构图如下图所示。

图2-1 数据库组成结构

1. 1.  B/S体系工作原理：

B/S架构采取浏览器请求，服务器响应的工作模式。

用户可以通过浏览器去访问Internet上由Web服务器产生的文本、数据、图片、动画、视频点播和声音等信息；

而每一个Web服务器又可以通过各种方式与数据库服务器连接，大量的数据实际存放在数据库服务器中；

从Web服务器上下载程序到本地来执行，在下载过程中若遇到与数据库有关的指令，由Web服务器交给数据库服务器来解释执行，并返回给Web服务器，Web服务器又返回给用户。在这种结构中，将许许多多的网连接到一块，形成一个巨大的网，即全球网。而各个企业可以在此结构的基础上建立自己的Internet。

在 B/S 模式中，用户是通过浏览器针对许多分布于网络上的服务器进行请求访问的，浏览器的请求通过服务器进行处理，并将处理结果以及相应的信息返回给浏览器，其他的数据加工、请求全部都是由Web Server完成的。通过该框架结构以及植入于操作系统内部的浏览器，该结构已经成为了当今软件应用的主流结构模式。

1. 系统分析
   1. 可行性分析

技术性方面，采用当前主流的Python技术进行系统主体框架的搭建，前台使用jquery，ajax，实现前台页面的设计与美观调整，以上技术，均由本人经过系统学习，并且都是在课程设计中实践过的，可以使得开发更加便捷和系统。从技术角度看，这个系统是完全可以实现的。

实用性方面，本次设计的主要任务是在天气数据分析系统内天气数据、天气数据、天气状况、城市管理等，符合当前潮流的发展。从用户角度出发，同时也考虑系统运营成本和人力资源，采用网络上的便捷方式，实现线上业务，使得业务流程更系统，也更方便用户的体验，比较实用。

经济性方面，由于本课题中设计的天气数据分析系统的主要目的是为了能够更加方便及快捷的进行信息的查询管理及检索服务，也就是能够可以直接投入使用的信息化软件。系统的主要成本主要是集中在对使用数据后期继续维护及其管理更新这个操作上。但是一旦系统投入到实际的运行及使用之后就能够很好的提高信息查询检索的效率，同时也需要有效的保证查询者的信息方面的安全性，同时这个天气数据分析系统所带来的实际应用方面的价值是远远的超过了实际系统进行开发与维护方面的成本，因此，从经济上来说开发这个软件是可行的。

1. 1. 功能需求分析

天气数据分析系统的功能主要分为前台用户根据自己的需求进行注册登录，浏览天气资讯并对选中的天气进行搜索操作。后台系统管理员因职责的不同，管理员主要对注册用户，历史天气、城市气温、省份气温、天气预测、气候分类进行处理。

系统用例图如下所示。

图3-1 系统用例图

1. 1. 1. 前台用户功能

前台用户可分为未注册用户需求和以注册用户需求。

未注册用户的功能如下：

注册账号：用户填写个人信息，并验证手机号码。

浏览资讯：用户可以根据天气资讯的信息。

已注册用户的功能如下：

登录：根据账号密码进行登录操作。

维护个人信息：用户因个人信息的变更可以随时修改自己注册信息。

浏览天气资讯：用户可以根据天气资讯的信息，并选中一条资讯点赞或收藏。

1. 1. 1. 后台管理员功能

后台管理员可分为普通管理员和超级管理员。

管理员功能如下：

修改密码：管理员可以随时修改自己进入系统的登录密码，以保证系统的安全性。

管理普通管理员：对普通管理员进行管理。调动相关工作人员时可以添加或删除普通管理员。

天气资讯管理：对天气资讯信息进行维护，添加、删除、修改信息。

天气数据管理：对天气数据信息进行维护，添加、删除、修改信息。

用户管理：可以查看注册用户的信息，并对其进行管理。

1. 1. 非功能需求分析

首先主要考虑的是系统功能软件，在具体设计的环节上，是不是能够较好的满足各类用户的基本功能需求，如果不能较好的满足用户需求，那么这个系统的存在是没有价值的。软件系统的非功能性求分析，从7个方面展开，一个是性能分析，针对系统；一个是安全分析，针对系统，一个是完整度分析，针对系统，一个是可维护分析，针对系统，一个是可扩展性分析，针对系统，一个是适应业务的性能分析。面对天气数据分析系统存在的性能、安全、扩展、完整度等7个方面性能综合比对分析后发现，需要相应的非功能性需求分析。

1. 1. 安全性需求分析
      1. 系统的安全性

安全性对每一个系统来说都是非常重要的。安全性很好的系统可以保护企业的信息和用户的信息不被窃取。提高系统的安全性不仅是对用户的负责，更是对企业的负责。尤其针对于天气数据分析系统来说，必须要有很好的安全性来保障整个系统。

系统具有对使用者有权限控制，针对角色的不通限制使用者的权限，以此来确保系统的安全性。

1. 1. 1. 数据的安全性

数据库中的数据是从外界输入的，当数据的输入时，由于种种原因，输入的数据会无效，或者是脏数据。因此，怎样保证输入的数据符合规定，成为了数据库系统，尤其是多用户的关系数据库系统首要关注的问题。

因此，在写入数据库时，要保证数据完整性、正确性和一致性。

1. 1. 数据流程分析

对系统的数据流进行分析，系统的使用者分为二类，一般用户，管理员。系统主要对界面信息传送，登录信息的验证，注册信息的接收，用户各种操作的响应做处理。

系统顶层数据流图如下图所示。

图3-2 顶层数据流图

要判断用户是是什么身份，是根据登录的数据来判断后，跳转到对应的功能界面。在系统的内部用户就可以对数据进行操作，数据库中心就可以接收到系统传输的有效数据流来对数据sql语句进行对应操作。

系统底层数据流图如下图所示。

 图3-3 底层数据流图

系统可以分为前台和后台两部分，每一种操作后系统都返回操作结果。前台和后台的数据连接主要通过数据库，既分别对数据库做不同的操作。

1. 系统设计
   1. 系统架构设计

本天气数据分析系统的架构设计主要分为可以3层，主要有Web层，业务层，Model层。其中web层还包括View层和Controller层，Model层包括元数据扩展层和数据访问层。

系统架构如下图所示。

图4-1 系统架构

1. 1. 系统总体设计

天气数据分析系统总体分为前台用户模块和后台管理员模块。

两个模块表现上是分别独立存在，但是访问的数据库是一样的。每一个模块的功能都是根据先前完成的需求分析，并查阅相关资料后整理制作的。

综上所述，系统功能结构图如下图所示。

图4-2 系统功能结构图

1. 1. 系统功能设计

登录模块：登录模块是进入系统的入口，所有用户必须登录后才能访问系统。登录需要输入用户名和密码，如果多次尝试登录需要输入验证码。登录时需要选择用户的角色，是一般用户还是管理员登录等。登录成功后，会通过数据库获取用户的权限，并跳转至用户的主页面。

管理员用户管理模块：管理员管理包括：管理员的添加，修改和删除操作。添加管理员时，先判断用户添加的管理员是否是admin（超级管理员），如果不是则添加成功。修改时候，如果是超级管理员，可以修改所有管理员的信息，如果是普通管理员，那么只能修改自己的信息。超级管理员可以删除自己以外的所有其他管理员，普通管理员不能执行删除管理员的操作。

天气资讯模块：天气数据促进用户对天气数据进行查看某个日期天气。

天气数据模块：可分为天气数据浏览、天气数据检索、天气数据维护三个模块，管理员对天气数据有维护的权限，发布新的天气数据、更新已有的天气数据等。

1. 1. 数据库设计
      1. 数据需求分析

从前面可以分析到数据库中最重要的是天气数据，用户信息，管理员信息。分析可以得到如下数据描述：

平台用户：用于记录用户的各种信息，包括用户名、密码、基本情况信息，信誉、发布信息数等数据项。

管理员：记录管理员的登录信息。包括用户名，密码，权限等数据项。

天气数据：存储平台内的天气数据内容。包括标题，天气数据内容，时间等数据项。

1. 1. 1. 数据库概念设计

根据前面的数据流程图，结合系统的功能模块设计，设计出符合系统的各信息实体。

系统ER图如下图所示。

图4-3 系统ER图

1. 1. 1. 数据库表设计

天气数据分析系统所拥有的数据表有以下：用户信息表，天气数据表，评论表。

由于数据表较多，只展示系统主要数据表，如下表所示。

表access_token (登陆访问时长)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	token_id	int	10	0	N	Y		临时访问牌ID
2	token	varchar	64	0	Y	N		临时访问牌
3	info	text	65535	0	Y	N
4	maxage	int	10	0	N	N	2	最大寿命：默认2小时
5	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
6	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
7	user_id	int	10	0	N	N	0	用户编号:

表article (文章：用于内容管理系统的文章)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	article_id	mediumint	8	0	N	Y		文章id：[0,8388607]
2	title	varchar	125	0	N	Y		标题：[0,125]用于文章和html的title标签中
3	type	varchar	64	0	N	N	0	文章分类：[0,1000]用来搜索指定类型的文章
4	hits	int	10	0	N	N	0	点击数：[0,1000000000]访问这篇文章的人次
5	praise_len	int	10	0	N	N	0	点赞数
6	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
7	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
8	source	varchar	255	0	Y	N		来源：[0,255]文章的出处
9	url	varchar	255	0	Y	N		来源地址：[0,255]用于跳转到发布该文章的网站
10	tag	varchar	255	0	Y	N		标签：[0,255]用于标注文章所属相关内容，多个标签用空格隔开
11	content	longtext	2147483647	0	Y	N		正文：文章的主体内容
12	img	varchar	255	0	Y	N		封面图
13	description	text	65535	0	Y	N		文章描述

表article_type (文章分类)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	type_id	smallint	5	0	N	Y		分类ID：[0,10000]
2	display	smallint	5	0	N	N	100	显示顺序：[0,1000]决定分类显示的先后顺序
3	name	varchar	16	0	N	N		分类名称：[2,16]
4	father_id	smallint	5	0	N	N	0	上级分类ID：[0,32767]
5	description	varchar	255	0	Y	N		描述：[0,255]描述该分类的作用
6	icon	text	65535	0	Y	N		分类图标：
7	url	varchar	255	0	Y	N		外链地址：[0,255]如果该分类是跳转到其他网站的情况下，就在该URL上设置
8	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
9	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表auth (用户权限管理)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	auth_id	int	10	0	N	Y		授权ID：
2	user_group	varchar	64	0	Y	N		用户组：
3	mod_name	varchar	64	0	Y	N		模块名：
4	table_name	varchar	64	0	Y	N		表名：
5	page_title	varchar	255	0	Y	N		页面标题：
6	path	varchar	255	0	Y	N		路由路径：
7	position	varchar	32	0	Y	N		位置：
8	mode	varchar	32	0	N	N	_blank	跳转方式：
9	add	tinyint	3	0	N	N	1	是否可增加：
10	del	tinyint	3	0	N	N	1	是否可删除：
11	set	tinyint	3	0	N	N	1	是否可修改：
12	get	tinyint	3	0	N	N	1	是否可查看：
13	field_add	text	65535	0	Y	N		添加字段：
14	field_set	text	65535	0	Y	N		修改字段：
15	field_get	text	65535	0	Y	N		查询字段：
16	table_nav_name	varchar	500	0	Y	N		跨表导航名称：
17	table_nav	varchar	500	0	Y	N		跨表导航：
18	option	text	65535	0	Y	N		配置：
19	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
20	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表climatic_classification (气候分类)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	climatic_classification_id	int	10	0	N	Y		气候分类ID
2	climate_type	varchar	64	0	Y	N		气候类型
3	recommend	int	10	0	N	N	0	智能推荐
4	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
5	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表collect (收藏)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	collect_id	int	10	0	N	Y		收藏ID：
2	user_id	int	10	0	N	N	0	收藏人ID：
3	source_table	varchar	255	0	Y	N		来源表：
4	source_field	varchar	255	0	Y	N		来源字段：
5	source_id	int	10	0	N	N	0	来源ID：
6	title	varchar	255	0	Y	N		标题：
7	img	varchar	255	0	Y	N		封面：
8	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
9	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表comment (评论)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	comment_id	int	10	0	N	Y		评论ID：
2	user_id	int	10	0	N	N	0	评论人ID：
3	reply_to_id	int	10	0	N	N	0	回复评论ID：空为0
4	content	longtext	2147483647	0	Y	N		内容：
5	nickname	varchar	255	0	Y	N		昵称：
6	avatar	varchar	255	0	Y	N		头像地址：[0,255]
7	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
8	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
9	source_table	varchar	255	0	Y	N		来源表：
10	source_field	varchar	255	0	Y	N		来源字段：
11	source_id	int	10	0	N	N	0	来源ID：

表historical_weather (历史天气)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	historical_weather_id	int	10	0	N	Y		历史天气ID
2	date	varchar	64	0	Y	N		日期
3	maximum_temperature	varchar	64	0	Y	N		最高气温
4	minimum_temperature	varchar	64	0	Y	N		最低气温
5	weather	varchar	64	0	Y	N		天气
6	wind_direction	varchar	64	0	Y	N		风向
7	city	varchar	64	0	Y	N		城市
8	recommend	int	10	0	N	N	0	智能推荐
9	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
10	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表hits (用户点击)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	hits_id	int	10	0	N	Y		点赞ID：
2	user_id	int	10	0	N	N	0	点赞人：
3	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
4	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
5	source_table	varchar	255	0	Y	N		来源表：
6	source_field	varchar	255	0	Y	N		来源字段：
7	source_id	int	10	0	N	N	0	来源ID：

表notice (公告)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	notice_id	mediumint	8	0	N	Y		公告id：
2	title	varchar	125	0	N	N		标题：
3	content	longtext	2147483647	0	Y	N		正文：
4	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
5	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表praise (点赞)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	praise_id	int	10	0	N	Y		点赞ID：
2	user_id	int	10	0	N	N	0	点赞人：
3	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
4	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
5	source_table	varchar	255	0	Y	N		来源表：
6	source_field	varchar	255	0	Y	N		来源字段：
7	source_id	int	10	0	N	N	0	来源ID：
8	status	bit	1	0	N	N	1	点赞状态:1为点赞，0已取消

表provincial_temperature (省份气温)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	provincial_temperature_id	int	10	0	N	Y		省份气温ID
2	province	varchar	64	0	Y	N		省份
3	average_maximum_temperature	varchar	64	0	Y	N		平均最高温
4	average_minimum_temperature	varchar	64	0	Y	N		平均最低温
5	average_temperature_difference	varchar	64	0	Y	N		平均温差
6	climate_type	varchar	64	0	Y	N		气候类型
7	recommend	int	10	0	N	N	0	智能推荐
8	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
9	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表registered_users (注册用户)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	registered_users_id	int	10	0	N	Y		注册用户ID
2	full_name	varchar	64	0	Y	N		姓名
3	gender	varchar	64	0	Y	N		性别
4	examine_state	varchar	16	0	N	N	已通过	审核状态
5	recommend	int	10	0	N	N	0	智能推荐
6	user_id	int	10	0	N	N	0	用户ID
7	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
8	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表slides (轮播图)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	slides_id	int	10	0	N	Y		轮播图ID：
2	title	varchar	64	0	Y	N		标题：
3	content	varchar	255	0	Y	N		内容：
4	url	varchar	255	0	Y	N		链接：
5	img	varchar	255	0	Y	N		轮播图：
6	hits	int	10	0	N	N	0	点击量：
7	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
8	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表upload (文件上传)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	upload_id	int	10	0	N	Y		上传ID
2	name	varchar	64	0	Y	N		文件名
3	path	varchar	255	0	Y	N		访问路径
4	file	varchar	255	0	Y	N		文件路径
5	display	varchar	255	0	Y	N		显示顺序
6	father_id	int	10	0	Y	N	0	父级ID
7	dir	varchar	255	0	Y	N		文件夹
8	type	varchar	32	0	Y	N		文件类型

表urban_temperature (城市气温)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	urban_temperature_id	int	10	0	N	Y		城市气温ID
2	city	varchar	64	0	Y	N		城市
3	average_maximum_temperature	varchar	64	0	Y	N		平均最高温
4	average_minimum_temperature	varchar	64	0	Y	N		平均最低温
5	average_temperature_difference	varchar	64	0	Y	N		平均温差
6	climate_type	varchar	64	0	Y	N		气候类型
7	recommend	int	10	0	N	N	0	智能推荐
8	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
9	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表user (用户账户：用于保存用户登录信息)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	user_id	mediumint	8	0	N	Y		用户ID：[0,8388607]用户获取其他与用户相关的数据
2	state	smallint	5	0	N	N	1	账户状态：[0,10](1可用|2异常|3已冻结|4已注销)
3	user_group	varchar	32	0	Y	N		所在用户组：[0,32767]决定用户身份和权限
4	login_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	上次登录时间：
5	phone	varchar	11	0	Y	N		手机号码：[0,11]用户的手机号码，用于找回密码时或登录时
6	phone_state	smallint	5	0	N	N	0	手机认证：[0,1](0未认证|1审核中|2已认证)
7	username	varchar	16	0	N	N		用户名：[0,16]用户登录时所用的账户名称
8	nickname	varchar	16	0	Y	N		昵称：[0,16]
9	password	varchar	64	0	N	N		密码：[0,32]用户登录所需的密码，由6-16位数字或英文组成
10	email	varchar	64	0	Y	N		邮箱：[0,64]用户的邮箱，用于找回密码时或登录时
11	email_state	smallint	5	0	N	N	0	邮箱认证：[0,1](0未认证|1审核中|2已认证)
12	avatar	varchar	255	0	Y	N		头像地址：[0,255]
13	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：

表user_group (用户组：用于用户前端身份和鉴权)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	group_id	mediumint	8	0	N	Y		用户组ID：[0,8388607]
2	display	smallint	5	0	N	N	100	显示顺序：[0,1000]
3	name	varchar	16	0	N	N		名称：[0,16]
4	description	varchar	255	0	Y	N		描述：[0,255]描述该用户组的特点或权限范围
5	source_table	varchar	255	0	Y	N		来源表：
6	source_field	varchar	255	0	Y	N		来源字段：
7	source_id	int	10	0	N	N	0	来源ID：
8	register	smallint	5	0	Y	N	0	注册位置:
9	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
10	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表weather_forecast (天气预测)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	weather_forecast_id	int	10	0	N	Y		天气预测ID
2	city	varchar	64	0	Y	N		城市
3	date	date	10	0	Y	N		日期
4	maximum_temperature	varchar	64	0	Y	N		最高温
5	lowest_temperature	varchar	64	0	Y	N		最低温
6	weather	varchar	64	0	Y	N		天气
7	wind_direction	varchar	64	0	Y	N		风向
8	forecast_analysis	text	65535	0	Y	N		预测分析
9	hits	int	10	0	N	N	0	点击数
10	recommend	int	10	0	N	N	0	智能推荐
11	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
12	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

1. 系统实现
   1. 数据库访问层的实现

从B/S架构的原理可知，天气数据分析系统的各大模块的实现均需要对数据库的数据进行操作，具体包括查询数据、写入数据、更新数据和删除数据，因此，在开发各功能模块前，首先创建一个名称"conn.Python"的文件，该文件主要用于连接数据，以后对程序需要操作数据时，可能使用语句"<?Python reqiure_once('conn.Python');?>"调用就可以了。

1. 1. 注册模块的实现

用户在填写数据的时候必须与注册页面上的验证相匹配否则会注册失败，注册页面的表单验证是通过JavaScript进行验证的，用户名的长度必须在6到18之间，邮箱必须带有@符号，密码和密码确认必须相同，你输入的密码，系统会根据你输入密码的强度给出指定的值，电话号码和身份证号码必须要求输入格式与生活相符合，当你前台验证通过的时候你点击注册，表单会将你输入的值通过name值传递给后台并保存到数据库中。

用户注册流程图如下图所示。

图5-1用户注册流程图

用户注册界面如下图所示。

图5-2用户注册界面

1. 1. 登录模块的实现

主要由两部分组成，登录前的登录界面以及登录后的用户功能界面。登录界面，要求用户输入用户名和密码，当用户名和密码其中一个输入为空时，给出提示“用户名，密码不能为空”。获取用户名和密码后到数据库中查找，如果用户名存在，以及对应的密码正确，则登录成功，否则登录失败。登录失败后给出提示，并把焦点停在文本框中。登录成功后将该次会话的全局变量username设置为用户名。登录成功后进入会员的功能模块，主要有会员基本信息修改，已经发布天气数据管理，发布信息，和退出功能。退出功能是清除全局变量username的值，并跳回到首页。

登录流程图如下图所示。

图5-3登录流程图

用户登录界面如下图所示。

图5-4用户登录界面

1. 1. 用户资料修改模块的实现

用户登录/注册成功之后可以修改自己的基本信息。修改页面的表单中每一个input的name值都要与实体类中的参数相匹配，在用户点击修改页面的时候，如果改后用户名与数据库里面重复了，页面会提示该用户名已经存在了，否则通过Id来查询用户，并将用户的信息修改为表单提交的数据。

1. 1. 天气资讯展示模块的实现

如果天气资讯的信息需要修改，管理员可以通过查询天气资讯的基本信息来查询天气资讯，查询天气资讯是通过ajax技术来进行查询的，需要传递天气资讯的标题、编号等参数然后在返回到该页面中,可以选中要修改或删除的那条信息，如果选中了超过一条数据，页面会挑一个窗口提醒只能选择一条数，如果没有选中数据会挑一个窗口题型必须选择一条数据。当选择确认修改的时候，后台会根据传过来的id到数据库查询，并将结果返回到修改页面中，可以在修改页面中修改刚刚选中的信息当点击确认的时候from表单会将修改的数据提交到后台并保存到数据库中，就是说如果提交的数据数据库中存在就修改，否则就保存。

天气资讯展示界面如下图所示。

图5-5天气资讯展示界面

1. 1. 天气数据统计模块的实现

此页面的关键是编写天气预报，包括天气编号，名称，详情等。单击提交按钮以完成信息的添加。如果未写入完整的天气数据，例如，如果未写入天气编号，系统将给出相应的错误提示，并且无法成功输入。数据以概念的形式以onsubmit =“return checkForm（）”的形式写入以进行检查，checkForm（）函数是一种用于写入数据的不同类型的校对方法，是不是为空也是经过form表单中的οnsubmit=”return checkForm()来检查。

管理员点击左侧菜单“首页”，页面跳转到数据统计管理外观，调用后台天气查询所有天气数据。并将信息密封到数据集合List，绑定到请求对象，然后页面跳转到相应的Python页面，显示出天气数据统计图表，单击删除按钮完成天气数据的删除。

天气数据统计流程图如下图所示。

图5-6天气数据统计流程图

天气数据统计界面如下图所示。

图5-7天气数据统计界图

1. 系统测试
   1. 测试目的

对任何系统而言，测试都是必不可少的环节，测试可以发现系统存在的很多问题，所有的软件上线之前，都应该进行充足的测试之后才能保证上线后不会Bug频发，或者是功能不满足需求等问题的发生。下面分别从单元测试，功能测试和用例测试来对系统进行测试以保证系统的稳定性和可靠性。

1. 1. 功能测试

下表是系统登录功能测试用例，检测了用户名和密码的不同的输入情况，观察系统的响应情况。得出该功能达到了设计目标。

表6-1 系统登录功能测试用例

功能描述	用于系统登录
测试目的	检测登录时的合法性检查
测试数据以及操作	预期结果	实际结果
输入的用户名和密码带有非法字符	提示用户名或者密码错误	与预期结果一致
输入的用户名或者密码为空	提示用户名或者密码错误	与预期结果一致
输入的用户名和密码不存在	提示用户名或者密码错误	与预期结果一致
输入正确的用户名和密码	登录成功	与预期结果一致

下表是注册功能测试用例，检测了各种数据的输入情况，观察系统的响应情况。得出该功能达到了设计目标。

表6-2 注册功能测试用例

功能描述	用于用户注册
测试目的	检测用户注册时的合法性检查
测试数据以及操作	预期结果	实际结果
输入的手机号不合法	提示请输入正确的手机号码	与预期结果一致
输入的字段为空	提示必填项不能为空	与预期结果一致
输入的密码少于6位	提示密码必须为6-12位	与预期结果一致
输入的密码大于12位	提示密码必须为6-12位	与预期结果一致

下表是天气资讯功能的测试用例，检测了天气资讯中对天气资讯的增加，删除，修改，查询操作是否成功运行。观察系统的响应情况，得出该功能也达到了设计目标，系统运行正确。

前置条件；用户登录系统。

表6-3 天气资讯的测试用例

功能描述	用于天气资讯
测试目的	检测天气资讯时的各种操作的运行情况
测试数据以及操作	预期结果	实际结果
点击添加资讯，必填项合法输入，点击保存	提示添加成功	与预期结果一致
点击添加资讯，必填项输入不合法，点击保存	提示必填项不能为空	与预期结果一致
点击修改资讯，必填项修改为空，点击保存	提示必填项不能为空	与预期结果一致
点击修改资讯，必填项输入不合法，点击保存	提示必填项不能为空	与预期结果一致
点击删除资讯，选择天气删除	提示删除成功	与预期结果一致
点击搜索天气，输入存在的资讯名	查找出资讯	与预期结果一致
点击搜索资讯，输入不存在的资讯名	不显示资讯，	与预期结果一致

1. 1. 性能测试

使用阿里云PTS（Performance Testing Service）性能测试服务对线上系统进行压力测试。线上服务器环境为：1核心CPU，1G内存，1Mbps公网带宽，Centos7.0操作系统。

压测过程中使用了2台并发机器，每台机器20个用户并发，对系统主页，登录，数据查询和数据维护等模块进行并发访问，测试结果是有40个用户并发时，数据管理相关页面的响应时间甚至达到了7s，通过查看服务器出网流量发现已经达到1381kb/s，可以看出服务器的带宽已经达到峰值，如果系统使用5Mbps的带宽，系统的响应时间和TPS将会大大增加。在整个测试的过程中，CPU的使用率占用仅8%，也提现出带宽瓶颈对系统的影响非常严重。

1. 总结与展望

随着计算机互联网技术的迅猛发展，各行各业都已经实现采用计算机相关技术对日益放大的数据进行管理。该课题是天气数据分析系统为核心展开的，主要是为了实现天气数据化管理和用户浏览天气的需求。

天气数据分析系统的开发是以Python编程语言作为基础，在PythonStrom平台上完成编码工作，系统整体为B/S架构，数据库系统使用Mysql。文中详细分析了天气数据分析系统的研究背景、研究目的和意义、开发工具和相关技术以及系统需求、系统详细设计和系统测试等等一系列内容。系统实现了天气数据分析系统所需的一些基本功能，并通过测试对这些实现的功能进行了完善，进而提高了系统整体的实用性。整个系统的开发过程中大量使用了Python相关的知识以及前端开发使用的html和javascript等，同时涉及到了很多开源框架和组件，例如后台系统中运用的MVVM架构、Freemarker模板引擎等，前端运用的UI框架等。

系统投入运行时，各功能均运行正常。系统的每个界面的操作符合常规逻辑，对使用者来说操作简单，界面友好。整个系统的各个功能设计合理，体现了人性化。

但是由于自己在系统开发过程中对一些用到的相关知识和技术掌握不够牢固，再加上自身开发经验欠缺，因此系统在有些方面的功能还不够完善，考虑的不够全面，因此整个系统还有待日后逐步完善。

参考文献

[1]李同金.基于Python的端口扫描技术研究[J].电子世界,2022(02):38-39+42.DOI:10.19353/j.cnki.dzsj.2022.02.015.

[2]孙琳,徐文正.Python编程语言教学中问题分析能力培养的研究[J].产业与科技论坛,2022,21(04):182-183.

[3]高望.新工科背景下“Python语言基础”教学改革实践[J].科技与创新,2022(02):148-150+155.DOI:10.15913/j.cnki.kjycx.2022.02.044.

[4]彭文良,虞燕花.基于Python语言的文本数据流自适应分类方法[J].宁夏师范学院学报,2022,43(01):106-112.

[5]韦依洋,吴一凡,李永远.Python技术在数据可视化中的应用研究[J].福建电脑,2022,38(01):27-31.DOI:10.16707/j.cnki.fjpc.2022.01.007.

[6]戴成秋.Python语言程序设计课程混合式教学方案的设计[J].计算机教育,2022(01):162-166.DOI:10.16512/j.cnki.jsjjy.2022.01.037.

[7]秦维超,戴晓芬.Python编程学习中巧用开源硬件提升问题解决能力[J].中国信息技术教育,2022(01):62-63.

[8]许高建,徐浩宇.基于Python语言的类C编译器的设计与实现[J].洛阳理工学院学报(自然科学版),2021,31(04):78-84.

[9]辛凤阳,王忠鑫,田凤亮,赵明,曾祥玉,王金金.基于BS架构的露天矿连续工艺一体化管控平台设计与实现[J].金属矿山,2021(12):177-182.DOI:10.19614/j.cnki.jsks.202112027.

[10]Li Li. Employment Data Analysis based on Python Crawler Technology[C]//Proceedings of 4th International Workshop on Education Reform and Social Sciences (ERSS 2021).,2021:164-168.DOI:10.26914/c.cnkihy.2021.049800.

[11]方生.基于“MVVM”模式的“Web”前端的设计与实现[J].电脑知识与技术,2021,17(20):147-149.DOI:10.14004/j.cnki.ckt.2021.2004.

[12] Kate Egan and Jeffrey Andrew Weinstock, And Now for Something Completely Different: Critical Approaches to Monty Python[J]. Journal of British Cinema and Television,2021,18(3):

[13]Melchert Oliver,Demircan Ayhan. pyGLLE: A Python toolkit for solving the generalized Lugiato–Lefever equation[J]. SoftwareX,2021,15:

[14]刘紫薇. 基于MVVM设计模式的在线教育系统的设计与实现[D].北京邮电大学,2021.DOI:10.26969/d.cnki.gbydu.2021.002712.

[15]游俊慧.MVC、MVP、MVVM三种架构模式的对比[J].办公自动化,2020,25(22):11-12+27.

[16]张岩.基于Spark框架的电商实时推荐系统的设计与实现[J].信息记录材料,2022,23(03):87-89.DOI:10.16009/j.cnki.cn13-1295/tq.2022.03.022.

[17]张菁楠.基于Spark的大数据清洗框架设计与实现[J].科学技术创新,2021(22):109-110.

[18]石晟. 基于Spark的有限元集群并行算法研究[D].湖南大学,2021.DOI:10.27135/d.cnki.ghudu.2021.003799.

[19]杜昕宜. 基于Spark开源框架的交通流预测研究[D].大连理工大学,2021.DOI:10.26991/d.cnki.gdllu.2021.002204.

[20]宋丹丹,翟俊海,李艳,齐家兴.MapReduce和Spark两种框架下的大数据极限学习机比较研究[J].小型微型计算机系统,2020,41(07):1381-1388.

致谢

本次设计历时3个月。在这个毕业设计中，它离不开指导教师的指导，使事情基本顺利。指导老师无论是在毕业设计历经中，还是在论文做完中都给了了我特别大的助益。另1个方面，教师认真负责的工作姿态，谨慎的教学精神厚重的理论水准都使我获益匪浅。他勤恳谨慎的教学育人学习姿态也给我留下了特别特别深的感觉。我从老师那里学到了很多东西。在理论和实践中，我的技能得到了特别大的提高。在此，特向教师表示由衷的感激。

经过对该毕业设计的全部研究和开发，我的系统研发经历了从需求分析到实现详细功能，再到最终测试和维护的特殊进展。让我对系统研发有了更深层次的认识。如今我的动手本领单独处理疑惑的本领也获取到了特别大的演练学习增多，这是这次毕业设计最好的收获。

最后，在整个系统开发过程中，我周围的同学和朋友给了我很多意见，所以我很快就确认了系统的商业思想。在次，我由衷的向他们表示感激。

点赞+收藏+关注  →私信领取本源代码、数据库

关注博主下篇更精彩
一键三连！！！
一键三连！！！
一键三连！！！
感谢一键三连！！！