【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像

一、Flink实时计算

第一章:Flink快速入门
       1.Flink架构
       2.Flink应用场景
       3.Flink VS Spark
       4.实时计算技术选型
第二章:Flink项目构建与测试
       1.快速构建Flink项目
       2.第一个Flink应用案例
       3.Flink 单节点集群安装与测试
       4.Flink Shell代码测试
第三章:Flink ON YARN集群部署
       1.Flink ON YARN集群架构讲解
       2.Flink ON YARN集群部署
       3.Flink ON YARN提交作业方式1
       4.Flink ON YARN提交作业方式2
第四章:Flink DataStream
       1.Flink DataStream运行模型
       2.Flink 惰性求值
       3.Flink DataSource
       4.Flink Transfamation
       5.Flink DataSink
       6.项目案例:Flink与Kafka集成开发
第五章:Flink并行度详解
       1.TaskManager与Slot
       2.Fink 并行度概述
       3.Flink并行度设置的四种方式

二、InfluxDB时序数据库 

第一章:InfluxDB架构原理
       1.InfluxDB概述
       2.InfluxDB数据模型
       3.InfluxDB时间线
       4.InfluxDB系统架构
第二章:InfluxDB安装部署与基本操作
       1.InfluxDB安装部署
       2.InfluxDB数据库增删改查
       3.InfluxDB数据保留策略增删改查
       4.InfluxDB表增删改查
       5.InfluxDB用户增删改查
       6.InfluxDB 用户授权
       4.InfluxDB开启登录认证
第三章:InfluxDB Java客户端操作
       1.InfluxDB 构建Maven项目
       2.Java连接InfluxDB测试
       3.InfluxDB单条数据插入
       4.InfluxDB批量写入Points
       5.InfluxDB数据查询
       6.InfluxDB数据删除

三、Grafana可视化监控与分析工具

       1.Grafana概述
       2.为什么要用Grafana
       3.Grafana安装部署
       4.实时产生时序数据
       5.Grafana添加InfluxDB数据源
       6.Grafana数据大屏制作 

四、Flink+InfluxDB+Grafana大数据项目实战

第一章:需求分析与架构设计
       1.项目背景
       2.产生的问题
       3.项目的阻力
       4.整体解决方案
       5.架构设计与技术选型
第二章:项目集群环境准备
       1.项目集群规划
       2.YARN集群环境准备
       3.InfluxDB环境准备
       4.Grafana环境准备
第三章:项目业务实现
       1.采集YARN集群总体指标实现方案分析
       2.采集YARN集群调度指标实现方案分析
       3.Flink自定义Source代码实现
       4.Flink自定义Sink代码实现
       5.Flink集群配置管理
       6.Flink工具类实现
       7.InfluxDB相关代码实现
第四章:项目测试运行
       1.Flink项目测试代码调试
       2.Flink项目开发代码调试
       3.Flink生产代码调试与优化
第五章:项目打包运行
       1.Flink核心模块项目配置
       2.Flink打包模块项目配置
       3.Flink项目打包部署
       4.Flink项目测试运行
第六章:项目可视化分析
       1.Grafana与InfluxDB集成开发
       2.Grafana制作YARN集群资源画像大屏 

 

  扫一扫文章底部二维码了解详情+领取资料   

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
实战Flink Doris实时数仓是指利用Flink作为实时计算引擎,将数据实时计算结果写入到Doris中,构建具有实时数据处理和分析能力的数据仓库。 首先,Doris是一款开源的分布式 SQL 数据库,具有高可靠性、低延迟、高扩展性等特点。通过Doris,我们可以构建和管理多维度的数据集合,支撑实时分析和查询。 而Flink是一个流式计算引擎,具有低延迟、高吞吐、Exactly Once等特点。它可以实时处理和计算大规模的数据流,并将计算结果输出到不同的数据存储,如Doris。 实战Flink Doris实时数仓的步骤如下: 1. 数据接入:通过Flink的流式数据接入功能,将数据源接入到Flink中。数据源可以是Kafka、消息队列等。 2. 实时计算:使用Flink提供的实时计算功能,对接入的数据进行处理和计算Flink提供了丰富的函数库,可以进行数据转换、数据筛选、聚合、窗口计算等操作。 3. 数据写入:将实时计算的结果写入到Doris中。可以通过Doris提供的JDBC或者API接口,将计算结果写入到Doris的数据表中。 4. 数据查询和分析:通过Doris提供的SQL接口,可以对实时计算结果进行查询和分析。Doris支持复杂的查询语句和聚合操作,可以快速地进行多维度数据分析。 5. 数据展示和可视化:通过可视化工具,将Doris中的数据进行可视化展示,以便业务人员进行数据分析和决策。 实战Flink Doris实时数仓的优势在于实现实时数据的处理和分析,可以快速地响应业务需求。同时,Flink的低延迟和高吞吐能力,以及Doris的高可靠性和扩展性,可以支撑大规模数据的实时处理和存储。通过构建实时数仓,企业可以更好地利用数据,追踪业务动态,并进行实时决策。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据研习社

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值