航空数据管控系统
文章平均质量分 89
我非夏日
这个作者很懒,什么都没留下…
展开
-
航空数据管控系统-①项目准备阶段:任务1:项目需求描述
当今社会,“大数据”已经不再是令人陌生的一个词汇,特别是在国家大数据与“互联网+”战略下,大数据、移动互联网、物联网、云计算等新兴技术正在快速增长与发展,大数据时代已经正式到来。在航空业与人们日常出行越来越紧密的大背景下,大数据在民航领域的应用也为航空公司在运营和管理方式上的改变助力。最大化地利用数据对于航空公司而言,意味着效率和效益。针对大数据对民航领域的意义,特别是在航空指挥领域的使用进行分析,可有效发掘民航的商业价值。原创 2024-07-04 19:33:37 · 512 阅读 · 0 评论 -
航空数据管控系统-①项目准备阶段:任务2:项目技术预研(技术架构)
掌握项目的总体功能,及实现流程。预习项目中所使用到的技术和知识点。原创 2024-07-04 19:36:14 · 478 阅读 · 0 评论 -
航空数据管控系统-②项目分析与设计:任务1:需求分析-项目场景引入
作为产品需求组和开发组进行需求评审的基础文档作为开发组进行产品设计和产品测试的基础作为交付物的必须的组成部分交付给客户(1)说明产品是什么,什么用途。(2)介绍产品的开发背景。提供关于发起这个软件开发的业务组织的概要,包括业务组织的使命及业务目标本项目是用于民航行业一个应用,主要用于管控收集各民航机构上报的雷达数据、航班数据、飞行数据据等,并对其进行标准化处理,形成合理有用的民航数据,通过大数据技术对民航数据进行处理分析,形成各种分析报告和图表,并展示给不同需求的客户。原创 2024-07-04 19:45:47 · 662 阅读 · 0 评论 -
航空数据管控系统-②项目分析与设计:任务2:使用Git或SVN管理项目(可选任务,只介绍Git安装)
1、安装Git2、注册GitHub3、配置本地库4、配置远程库5、使用Git管理项目。原创 2024-07-04 19:47:30 · 977 阅读 · 0 评论 -
阶段三:项目开发---大数据系统基础环境准备:任务1:准备系统运行的先决条件
大数据基础环境准备SSH免密码连接安装配置JDK安装配置Scala无项目开发测试环境为分布式集群环境,在当前项目中使用多台基于CentOS 64bit 的虚拟机来模拟生产环境。原创 2024-07-04 19:50:53 · 827 阅读 · 1 评论 -
阶段三:项目开发---大数据开发运行环境搭建:任务2:安装配置ZooKeeper
安装配置ZooKeeper: 安装配置ZooKeeper:无ZooKeeper是一个开源分布式协调服务,其独特的Leader-Follower集群结构,很好的解决了分布式单点问题。目前主要用于诸如:统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用ZooKeeper的集群管理功能。因为在项目中会使用到HBase,所以需要安装ZooKeeper。HBase是一个开源的、分布式的NoSQL数据库,它建立在Hadoop分布式文件系统(HDFS)之上。原创 2024-07-07 11:38:16 · 1085 阅读 · 0 评论 -
阶段三:项目开发---大数据开发运行环境搭建:任务3:安装配置Hadoop集群
安装配置Hadoop: 安装配置Hadoop:无Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;原创 2024-07-07 11:41:21 · 1058 阅读 · 0 评论 -
阶段三:项目开发---大数据开发运行环境搭建:任务4:安装配置Spark集群
安装配置Spark: 安装配置Spark:无Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。原创 2024-07-07 11:47:52 · 746 阅读 · 1 评论 -
阶段三:项目开发---大数据开发运行环境搭建:任务5:安装配置Kafka
安装配置Kafka: 安装配置Kafka:无Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。原创 2024-07-07 11:50:13 · 1011 阅读 · 1 评论 -
阶段三:项目开发---大数据开发运行环境搭建:任务6:安装配置HBase
安装配置HBase: 安装配置HBase:无本阶段任务是安装配置HBase,实时飞行数据是保存在HBase中的,因为HBase具有高效的读写能力,在当前项目中我们是将准备好的实时飞行数据导入到HBase中的,在实际项目中飞行数据则是实时写入HBase的。原创 2024-07-07 11:58:05 · 805 阅读 · 0 评论 -
阶段三:项目开发---大数据开发运行环境搭建:任务7:安装配置MySQL
注意:在【yum install -y mysql-community-server】命令中“-y”参数表示自动确认安装MySQL所需的依赖包,如果没有使用“-y”参数,则这里需要手动确认安装MySQL需要的依赖包。MySQL安装完毕后,当前版本的MySQL默认密码为空,这里不需要输入任何密码就能进入MySQL。项目中MySQL主要用于存储基础数据,以及数据统计分析后的数据,便于查询展示。MySQL数据库安装在node3节点上,其他节点通过远程访问的方式使用MySQL数据库。: 安装配置MySQL。原创 2024-07-07 12:02:24 · 296 阅读 · 0 评论 -
阶段三:项目开发---大数据开发运行环境搭建:任务8:安装配置Redis
安装配置Redis: 安装配置Redis:无Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI编写、支持网络、可基于内存亦可持久化的日志型、Key-Value,并提供多种语言的API。任务主要内容是Redis的下载安装,启动测试以及出现问题的相应解决方法。原创 2024-07-07 12:05:15 · 1300 阅读 · 0 评论 -
阶段三:项目开发---搭建项目前后端系统基础架构:任务9:导入空管基础数据
注意:由于数据文件的压缩包比较大,解压过程可能会持续3~5分钟,请耐心等待。原创 2024-07-07 12:22:39 · 717 阅读 · 0 评论 -
阶段三:项目开发---搭建项目前后端系统基础架构:任务10:SpringBoot框架的原理和使用
1、熟悉SpringBoot框架的原理及使用2、使用IDEA创建基于SpringBoot、MyBatis、MySQL的Java项目3、当前任务请在上进行。原创 2024-07-07 12:28:02 · 770 阅读 · 0 评论 -
阶段三:项目开发---搭建项目前后端系统基础架构:任务11:搭建项目后台系统基础架构
1、了解搭建民航后端框架2、使用IDEA创建基于SpringBoot、MyBatis、MySQL、Redis的Java项目3、以原项目为参照搭建项目所涉及到的各个业务和底层服务4、以原项目为例,具体介绍各个目录情况并参照创建相关文件夹。原创 2024-07-07 12:36:49 · 805 阅读 · 0 评论 -
阶段三:项目开发---搭建项目前后端系统基础架构:任务12:搭建项目前端系统基础架构
1、搭建民航前端项目2、使用VSCode创建基于Vue的前端项目框架3、熟悉业务框架的各个目录结构。原创 2024-07-07 13:21:06 · 841 阅读 · 0 评论 -
阶段三:项目开发---搭建项目前后端系统基础架构:任务13:实现基本的登录功能
实现基本的登录功能了解前端Vue项目的基本执行过程构建项目的基本登陆功能通过实现项目的基本登录功能,来了解前端Vue项目的基本执行过程,并完成基础环境的准备,包括:工具类、静态资源文件等。原创 2024-07-07 13:26:23 · 783 阅读 · 0 评论 -
阶段三:项目开发---搭建项目前后端系统基础架构:Q&A:可能遇到的问题及解决方案
2)根据学校需求,设置服务器自动关机(可以联系服务器管理员取消服务器自动关机功能);3)为了节省资源消耗,服务器每天晚上会自动关机;可以看到并没有Zookeeper相关的进程。1)服务器意外断电重启;原创 2024-07-07 13:34:02 · 332 阅读 · 0 评论 -
阶段三:项目开发---民航项目数据预处理:任务14:获取源数据推送到Kafka
6学时:HBase读写、SpringBoot、Kafka:HBase读写、Kafka:HBase分页检索数据采集程序,会实时采集民航端的信息数据,写入到Kafka数据管道中,然后由Spark Streaming程序实时消费Kafka中的数据。这里为了还原真实环境,模拟数据采集端,将准备好的一批数据,通过SpringBoot项目的定时任务读取数据,写入到了Kakfa数据管道中。原创 2024-07-07 13:39:19 · 879 阅读 · 0 评论 -
阶段三:项目开发---民航项目数据预处理:任务15:使用Spark清洗统计业务数据并保存到数据库中
前面已经模拟把数据写入到了Kafka的不同Topic中,现在需要使用Spark Streaming清洗程序,实时读取Kafka中所有Topic的数据进行清洗,把清洗结果写入到MySQL数据库中。: 6学时:熟悉Spark和Kafka,数据清洗。原创 2024-07-07 13:44:13 · 608 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务16:动态航线图
前面任务实现了由Spark Streaming实时接收Kafka中的数据进行清洗,并存入到了MySQL中,有了飞机的实时经纬度坐标等数据,接下来,开发前台页面并接入百度地图模块,实现飞机的动态航线图功能。: 6学时:动态航线图功能实现,ECharts、Vue和iView熟悉:熟悉数据库表,从表中读出航空数据,使用ECharts绘制航空路线图。原创 2024-07-08 14:33:58 · 1182 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务17:获取扇区航班数
航空管制中有扇区的概念,从几何图形上来说就是一个扇形区域,由于空间太大,航空管制把多个区域分为了不同的扇区,便于管理。本节任务,根据实时数据统计,当前所有扇区正在飞行的航班数量分别是多少。6学时Vue和iView熟悉,后端文件处理。熟悉Vue标签,循环并绑定数据。原创 2024-07-08 14:36:59 · 886 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务18:指挥航空公司架次与延误率占比
在前面的“使用Spark清洗统计业务数据并保存到数据库”任务中,已经通过Spark Streaming 清洗程序,将Kafka中Topic为“task_Aftn”的报文数据,经过数据清洗后,保存到了MySQL数据库中;本节任务内容,通过统计查询,计算总架次数和延误架次数的一个比例,即指挥航空公司架次与延误率占比。6学时Vue和iView熟悉,内部推送和邮件推送处理熟悉ECharts双Y轴展示,赋值。原创 2024-07-08 14:39:09 · 1009 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务19:年度告警区域统计
年度告警区域实现。在前面的任务中,已经通过Spark Streaming 清洗程序,将Kafka中Topic的数据,经过数据清洗后,保存到了MySQL数据库中;年度告警区域包括管制指令告警,冲突指令告警等多种告警信息汇总后实现,由指挥终端发送数据流转到数据平台展示。本次采用真实历史数据代替终端数据,发送到该平台并通过大屏展示出来。6学时Vue和ECharts。原创 2024-07-08 14:41:53 · 624 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务20:扇区架次数动态展示
扇区架次数动态循环展示实现。扇区架次数是飞机经过某个扇区所出现的次数,飞机经过扇区的次数会重复经过。本次截取真实的历史数据,通过读取HBase中的数据展示出来。6学时动态循环展示数据数据绑定、后台请求。原创 2024-07-08 14:45:31 · 909 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务21:各扇区通话饱和度
1、确认设计图,引入ECharts组件2、后台请求数据3、Vue页面绑定数据4、实现设计效果。原创 2024-07-08 14:48:22 · 588 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务22:年度告警分类统计
任务描述内容:冲突指令告警数据是指挥员指挥飞机前进、降高、增高的参考标准。当两架飞机高度一致,顺序一致后会造成顺向冲突预警,供指挥员指挥,当两架飞机高度一致 ,顺序相对会造成交叉冲突,当两架飞机高度不一致,顺序相对会造成逆向冲突。本次使用真实历史数据对当前年度冲突指令进行了分析和展示。学时:6学时知识点:年度告警分类统计重点:数据绑定、后台请求任务指导确定年度告警分类统计设计图,请求后台获取数据,绑定数据,首页引入组件:1、确定设计图,引入ECharts组件2、后台请求数据原创 2024-07-08 14:50:26 · 1216 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务23:机场当前负荷统计
针对进出机场的航班数进行统计。6学时机场当前负荷统计数据绑定、后台请求。原创 2024-07-08 14:52:20 · 830 阅读 · 0 评论 -
阶段三:项目开发---民航功能模块实现:任务24:航空实时监控
地图展示、飞机飞行轨迹、扇区控制。航空实时监控,是飞机每秒发送坐标,经过终端转换实时发送给塔台,为了飞机位置的精准度,传输位置的密度很大,在地图位置显示不明显。本次为了案例展示效果,对飞机位置重新进行了规划,结合百度地图,和数据清洗,展示到前台。6学时后端文件处理百度地图展示、飞机动态飞行、数据获取。原创 2024-07-08 14:56:04 · 1421 阅读 · 0 评论 -
扩展任务1:完成页面的布局设计和美化
例如可以通过修改Style样式的方式完成布局调整,具体页面显示样式,需要学生根据自己的喜好和设计自行完成,建议每个学生的页面尽量个性化设计,不要重复。原创 2024-07-08 14:57:10 · 269 阅读 · 0 评论