数据分析实践
文章平均质量分 82
不要em0啦
这个作者很懒,什么都没留下…
展开
-
航空实时监控
页面中包含"G"、"K"、"E"三个扇区的按钮,并绑定了click事件,当点击其中任意一个扇区对应的按钮时会触发click事件,执行clickData方法,clickData方法在后面的步骤中定义,主要是根据传入的不同的参数("G"、"K"、"E"),获取不同扇区的数据。如果没有完成,请参考源代码自行完成。3)在com.qrsoft.controller.WarnFlightHistoryController类中主要调用 findWarnTp() 方法,用于查询“管制指令纠错”的数据。原创 2024-03-21 00:48:20 · 1194 阅读 · 0 评论 -
机场当前负荷统计
调用api/chartdata/chartdata.js中的getAirPortCount()方法从后端获取数据,调用formatData(data)方法格式化数据,refreshChart刷新报表。例如:查看MySQL是否正常启动。原创 2024-03-21 00:32:54 · 541 阅读 · 0 评论 -
年度告警分类统计
调用api/chartdata/chartdata.js中的annualWarningStatisticsByCategory()方法从后端获取数据,调用formatData(data)方法格式化数据,调用drawPieChart()方法初始化绘制报表。例如:查看MySQL是否正常启动。原创 2024-03-21 00:21:34 · 803 阅读 · 0 评论 -
各扇区通话饱和度
例如:查看MySQL是否正常启动。原创 2024-03-21 00:15:06 · 468 阅读 · 0 评论 -
扇区架次数动态展示
注意:在上面代码中【 v-show="isShow('/section/detail')" 】属性的作用是判断当前登录的用户是否有权限显示当前内容,如果当前登录的用户没有权限,则不会显示当前内容,新用户的权限需要到MySQL数据库中进行设置。例如我们前面使用的用户admin,该用户没有权限显示,所以使用admin用户登录系统时是不会显示当前内容的,如果要进行权限设置,可以进入MySQL安装节点(node3节点),然后进入数据库,为admin用户授权。例如:查看MySQL是否正常启动。原创 2024-03-19 00:10:40 · 1143 阅读 · 0 评论 -
年度告警区域统计
注意:在上面代码中【 v-show="isShow('/section/warning')" 】属性的作用是判断当前登录的用户是否有权限显示当前内容,如果当前登录的用户没有权限,则不会显示当前内容,新用户的权限需要到MySQL数据库中进行设置。例如我们前面使用的用户admin,该用户没有权限显示,所以使用admin用户登录系统时是不会显示当前内容的,如果要进行权限设置,可以进入MySQL安装节点(node3节点),然后进入数据库,为admin用户授权。例如:查看MySQL是否正常启动。原创 2024-03-19 00:04:33 · 1151 阅读 · 0 评论 -
指挥航空公司架次与延误率占比
注意:在上面代码中【 v-show="isShow('/flight/delay')" 】属性的作用是判断当前登录的用户是否有权限显示当前内容,如果当前登录的用户没有权限,则不会显示当前内容,新用户的权限需要到MySQL数据库中进行设置。例如我们前面使用的用户admin,该用户没有权限显示,所以使用admin用户登录系统时是不会显示当前内容的,如果要进行权限设置,可以进入MySQL安装节点(node3节点),然后进入数据库,为admin用户授权。2)需要使用有权限的用户登录才能显示,或到数据库中分配权限。原创 2024-03-17 23:02:23 · 905 阅读 · 0 评论 -
获取扇区航班数
注意:在上面代码中【 v-show="isShow('/flight/section')" 】属性的作用是判断当前登录的用户是否有权限显示当前内容,如果当前登录的用户没有权限,则不会显示当前内容,新用户的权限需要到MySQL数据库中进行设置。例如我们前面使用的用户admin,该用户没有权限显示,所以使用admin用户登录系统时是不会显示当前内容的,如果要进行权限设置,可以进入MySQL安装节点(node3节点),然后进入数据库,为admin用户授权。例如:在node3节点上启动Redis。原创 2024-03-16 23:47:47 · 1113 阅读 · 0 评论 -
动态航线图
注意:在上面代码中【 v-show="isShow('/flight/airline')" 】属性的作用是判断当前登录的用户是否有权限显示当前内容,如果当前登录的用户没有权限,则不会显示当前内容,新用户的权限需要到MySQL数据库中进行设置。例如我们前面使用的用户admin,该用户没有权限显示,所以使用admin用户登录系统时是不会显示当前内容的,如果要进行权限设置,可以进入MySQL安装节点(node3节点),然后进入数据库,为admin用户授权。提交成功后,就会生成访问应用的AK。原创 2024-03-16 20:19:50 · 748 阅读 · 0 评论 -
使用Spark清洗统计业务数据并保存到数据库中
1)打开SpringBoot项目:BigData-Etl-KongGuan创建StreamingContext,设置拉取流的时间,准备读取Kafka数据。本地开发时Spark配置使用local[*]方式,设置成本地运行模式,放到集群中运行时需要修改为Yarn模式。该分支是,这里会用到一个类SparkUtil.java,该类中定义了处理不同Topic数据的方法,其中sparkUtil.TaskPlanData(jsonObject)就是处理机场起降数据对应的方法。原创 2024-03-15 23:24:09 · 1177 阅读 · 0 评论 -
获取源数据推送到Kafka
1)处理“实时飞行数据”推送对应的Topic。代码所在位置src/main/java/com/qrsoft/mapper/MultiRadarMapper.java。代码所在位置src/main/java/com/qrsoft/service/TimeTaskService.java。代码所在位置src/main/java/com/qrsoft/util/HBaseUtils.java。7)编写com.qrsoft.util.HBaseUtils类,该类是HBase数据访问的工具类。原创 2024-03-15 23:15:54 · 924 阅读 · 0 评论 -
实现基本的登录功能
由于这是在后续任务中完成的工作,所以这里只显示简单的内容即可。调用src/api/Login/Login.js中的login方法,向服务端发送请求,登录成功后将用户token和权限保存到本地vuex中,然后跳转到上一次请求的地址。其中getOtherQuery(query)方法是在下面的代码中定义的方法,返回上一次请求的地址,登录成功后,直接跳转到该地址。注意:需要确保node3节点上的Redis和MySQL都已经正常启动,可以参照前面安装部署的任务中的步骤进行验证。原创 2024-03-14 21:57:52 · 876 阅读 · 0 评论 -
搭建项目前端系统基础架构
它的源码有着很高的可读性,如果你需要仅用他的文档便可入门,你不必使用任何额外的库。2) 创建一个基于Vue 2的新项目(注意:由于vue create命令在创建项目时对命名为特殊要求,所以这里创建的项目名为“kongguan_web”,后期如果对项目名称为特殊要求,可以在项目创建完成后手动修改即可。1)如果以root身份运行npm install命令安装依赖包时,--unsfe-perm参数的默认值为false,以非root身份运行时,--unsfe-perm参数的默认值为true。原创 2024-03-14 21:46:20 · 830 阅读 · 0 评论 -
搭建项目后台系统基础架构
BigData-KongGuan项目是当前民航项目的后端程序,负责访问数据为前端提供查询接口,同时提供一些定时任务,例如,将HBase数据查询出来,并推送到Kafka当中,来模拟航空数据的收集过程等。2、使用IDEA创建基于SpringBoot、MyBatis、MySQL、Redis的Java项目。BigData-Etl-KongGuan项目是当前民航项目的数据清洗程序,负责数据的ETL等工作。4、以原项目为例,具体介绍各个目录情况并参照创建相关文件夹。目录/文件(代码)的说明。目录/文件(代码)的说明。原创 2024-03-13 23:23:55 · 732 阅读 · 0 评论 -
SpringBoot框架的原理和使用
注意,这里Spring Boot选择任意版本即可,例如:在图中使用的是2.7.11,但是在实际环境中Spring Boot的版本是动态变化的,请根据自己当前的环境进行设置,一般来说选择一个2.7.x的任意版本都可以。首先我们在com.example.demo包下,分别创建model包(用于存放model)、dao包(用于存放数据访问文件)、controller包(用于存放控制器)、service包(用于存放主要的程序逻辑代码)。2)进入/opt/software目录,解压安装Maven到/opt/目录下。原创 2024-03-13 23:14:46 · 816 阅读 · 0 评论 -
导入空管基础数据
这些文件可以放到本地,也可以放到HDFS上,例如:如果要在【client节点机器上】上读取“实时飞行数据”,可以使用【scp】命令将该数据从node3节点复制到client节点上。注意:由于此过程要执行多个MapReduce操作,可能需要5-10分钟左右的时间,请耐心等待。注意:由于数据文件的压缩包比较大,解压过程可能会持续3~5分钟,请耐心等待。导入数据后,可使用 MySQL的show tables;注意:由于数据量较大,上传数据的过程可能会持续3-5分钟的时间,请耐心等待。原创 2024-03-12 13:48:59 · 405 阅读 · 0 评论 -
安装配置Redis
和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。在此基础上,Redis支持各种不同方式的排序。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。将/opt/module/redis-4.0.8/src目录下的文件加到/usr/local/bin目录。1)直接启动redis。原创 2024-03-12 13:46:16 · 318 阅读 · 0 评论 -
安装配置MySQL
1、检查并卸载旧版本的MySQL2、如果不使用Mariadb,则也需要卸载3、离线安装MySQLMySQL数据库安装在node3节点上,其他节点通过远程访问的方式使用MySQL数据库。原创 2024-03-12 00:21:27 · 1583 阅读 · 0 评论 -
安装配置HBase
HBase集群需要整个集群所有节点安装的HBase版本保持一致,并且拥有相同的配置,具体配置步骤如下:1. 解压缩HBase的压缩包2. 配置HBase的环境变量3. 修改HBase的配置文件,HBase的配置文件存放在HBase安装目录下的conf中4. 首先在一台节点对整个HBase集群进行配置,再将此节点的配置发送到集群的其它节点上。原创 2024-03-12 00:20:21 · 1816 阅读 · 0 评论 -
安装配置Kafka
一个典型的Kafka集群中包含若干Producer(可以是Web前端FET,或者是服务器日志等),若干Broker(Kafka支持水平扩展,一般Broker数量越多,集群吞吐率越高),若干ConsumerGroup,以及一个ZooKeeper集群。Producer使用push模式将消息发布到Broker,Consumer使用pull模式从Broker订阅并消费消息。1、可以从官网下载Kafka安装包 ,当前环境已经提供了Kafka的安装包,存放在 /opt/software目录下。原创 2024-03-11 17:02:57 · 1273 阅读 · 0 评论 -
安装配置Spark集群
1、下载Spark安装包,在各节点中安装部署spark集群2、配置整合3、启动并测试可以从官方网站下载合适的版本。当前环境已经提供了安装包,存放在 /opt/software目录下。使用【cp】命令,从spark-env.sh.template模板文件复制并创建spark-env.sh文件然后使用【 vim spark-env.sh】命令编辑该文件。原创 2024-03-11 17:01:10 · 580 阅读 · 0 评论 -
安装配置Hadoop集群
启动后可以看到控制台打印信息显示在node1节点上启动了 namenode、resourcemanager两个进程,在node2节点上启动了 datanode、nodemanager、secondarynamenode三个进程,在node3节点上启动了 datanode、nodemanager两个进程。配置hadoop-env.sh、yarn-env.sh、mapred-env.sh文件的JAVA_HOME变量。将配置好的Hadoop复制到其他节点对应位置上,通过scp命令发送。3、配置Hadoop。原创 2024-03-09 21:13:25 · 805 阅读 · 0 评论 -
安装配置ZooKeeper
如果要关闭ZooKeeper服务,可以分别在三个节点上使用关闭命令。(zkServer.sh stop)在node1节点上,进入/opt/software/目录,没下载过的需要自行前往官网下载。原创 2024-03-09 20:57:40 · 687 阅读 · 0 评论 -
准备系统运行的先决条件
SSH免密码登录,因为Hadoop需要通过SSH登录到各个节点进行操作,我用的是root用户,每台服务器都生成公钥,再合并到authorized_keys。Hadoop 2.6需要JDK 1.6及以上版本,如果系统自带Open JDK,强烈建议使用JDK 1.8替换系统自带的Open JDK。输入【tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module】 命令解压。配置虚拟机的主机名称和网络,确保各主机之间可以通过主机名和IP互相ping通。原创 2024-03-09 20:45:40 · 630 阅读 · 0 评论 -
数据挖掘:航空公司的客户价值分析
压缩包中的数据为csv数据,解压并将该数据移动到c:/数据分析/data目录中。理解并掌握聚类分析方法,掌握数据的标准化,掌握寻找最佳聚类数,掌握聚类的绘图,掌握聚类分析的应用场景。去除掉第一年、第二年票价均为0,同时平均折扣系数大于零和飞行里程大于零的数据。取出SUM_YR_1和SUM_YR_2不为空的样本。k=2/3轮廓系数最高,综合k=3。打开spyder,输入以下代码。取出LRFMC模型数据。更改列名,描述性统计。原创 2024-03-01 01:23:23 · 1865 阅读 · 1 评论 -
使用Python访问Phoenix
理解Phoenix的原理及应用场景,理解Thrift的原理及操作,掌握Python如何访问操作HBase。在master,slave1和slave2上分别打开Zookeeper集群。在master的第一个终端退出Poenix服务。在master服务器输入以下指令,打开文件。在三个服务器上都关闭ZooKeeper集群。在master上开启Hadoop集群。在master上启动HBase集群。在master上关闭Hadoop集群。在master上关闭HBase集群。在master上输入下图指令。原创 2024-03-01 00:54:07 · 567 阅读 · 0 评论 -
使用Spark探索数据
使用Spark来探索数据是一种高效处理大规模数据的方法,需要对数据进行加载、清洗和转换,选择合适的Spark组件进行数据处理和分析。需求分析包括确定数据分析的目的和问题、选择合适的Spark应用程序和算法、优化数据处理流程和性能、可视化和解释分析结果。同时,需要熟悉Spark的基本概念和操作,掌握Spark编程和调优技巧,以确保数据探索的准确性和效率。掌握python on Spark的使用理解探索数据的意义和方法,掌握使用Spark探索数据的过程。上传后的HDFS的data目录结构如图所示。原创 2024-02-29 02:38:42 · 642 阅读 · 1 评论 -
基于Mahout实现K-Means聚类
需要对数据集进行预处理,选择合适的特征进行聚类分析,确定聚类的数量和初始中心点,调用Mahout提供的K-Means算法进行聚类计算,评估聚类结果的准确性和稳定性。同时,需要对Mahout的使用和参数调优进行深入学习和实践,以保证聚类结果的有效性和可靠性。本次实验,我们的目的是理解聚类的原理,并且掌握常见聚类的算法,以及掌握使用Mahout实现K-Means聚类分析算法的过程。执行结果被保存在/home/data/result.txt文件中,打开终端执行以下命令。同样右键执行程序,得到下图结果。原创 2024-02-29 02:23:58 · 790 阅读 · 0 评论