Apache Flink连载（二十三）：Flink HA - Flink基于Yarn HA

已于 2024-01-09 13:17:15 修改
阅读量414 收藏 7
点赞数 10
分类专栏： 大数据计算体系技术栈 Apache Flink 文章标签： apache flink 大数据
于 2024-01-01 11:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/135258690
版权
本文详细介绍了如何配置Apache Flink在Yarn上的高可用（HA），包括修改Yarn的配置参数，设置Flink的flink-conf.yaml文件，以及通过Zookeeper和HDFS实现JobManager的故障恢复。在测试过程中，通过模拟JobManager进程挂掉，观察Yarn重试启动JobManager并恢复任务的过程，验证了Flink Yarn HA的有效性。
摘要由CSDN通过智能技术生成

  🏡 个人主页：IT贫道-CSDN博客

 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

目录

1. Yarn HA配置

2. 启动测试

正常基于Yarn提交Flink程序，无论使用哪种模式提交任务都会启动JobManager角色，JobManager角色是哪个进程可以通过Yarn WebUI查看对应的ApplicationID启动所在节点的对应进程， Yarn Session提交任务模式中该角色进程为“YarnSessionClusterEntrypoint”、Yarn Per-Job提交任务模式中该角色进程为“YarnJ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
IT贫道
关注
  • 10
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
qq_32020645的博客
12-28 1343
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Apache Flink连载（二十一）：Flink On Yarn运行原理-Yarn Application模式
qq_32020645的博客
12-30 952
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）
qq_32020645的博客
12-29 994
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。Per-Job模式就是直接由客户端向Yarn中提交Flink作业，每个作业形成一个单独的Flink集群。
Apache Flink连载（十二）：Flink集群部署-Flink On Yarn
qq_32020645的博客
12-13 895
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。Flink基于Yarn提交任务通常叫做Flink On Yarn，Yarn资源调度框架运行需要有Hadoop集群。
Apache Flink连载（五）：Apache Flink快速入门 - 环境准备及入门案例
qq_32020645的博客
12-02 879
学习一门新的编程语言时，往往会从“hello world”程序开始，而接触一套新的大数据计算框架时，则一般会从WordCount案例入手，下面以大数据中最经典入门案例WordCount为例，来编写Flink代码，Flink底层源码是基于Java代码进行开发，在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外，还可以使用Scala、Python语言来进行编写Flink程序，在后续章节中我们将会主要使用Java和Scala来编写Flink程序。下面来准备下Flink开发环境。
Apache CloudStack Official Document 翻译节选（十三）
UsamaBinLaden6976498的专栏
09-02 1445
快速部署一朵 Apache CloudStack 云 （二）部署一朵pache CloudStack 云。
7-8月月报 | Apache SeaTunnel社区进展一览
weixin_54625990的博客
09-03 894
各位热爱 Apache SeaTunnel 的小伙伴们，社区 7-8 月份月报来啦！这两个月项目有了哪些进展？又有谁登上了我们社区的贡献者榜单呢？快来一睹为快吧。
兼容Trino Connector，扩展Apache Doris数据源接入能力｜Lakehouse 使用手册（四）
SelectDB
09-06 968
Apache Doris 内置支持包括 Hive、、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，Trino/Presto 作为业界较早应用于湖仓查询、联邦分析的计算引擎，以广泛的数据源对接能力闻名。
Apache POl的使用(导出报表)
a2547724092的博客
09-03 484
Apache POl是一个处理Miscrosoft Office各种文件格式的开源项目。简单来说就是，我们可以使用 PO!在 Java 程序中对Miscrosoft Office各种文件进行读写操作。一般情况下，POI都是用于操作 Excel 文件。银行网银系统导出交易明细各种业务系统导出Excel报表批量导入业务数据导入maven坐标-- poi -->写操作/*** 通过POI创建Excle文件*/@Test//在内存中创建一个excle文件。
StarRocks Lakehouse 快速入门——Apache Iceberg
最新发布
StarRocks的博客
09-06 927
Apache Iceberg 是一种为大规模、复杂数据集设计的开源表格式，这些数据集跨越了 PB 级别的数据。最初作为 Netflix 管理海量表的解决方案，于 2018 年在 Apache 孵化器下开源，并在 2020 年毕业。Apache Iceberg 作为一种复杂的开放表格式，位于计算引擎（如 Flink 和 Spark）和存储格式（如 ORC、Parquet 和 Avro）之间。它作为一个中间件层，抽象了底层数据存储格式的复杂性，并向计算框架上层提供了统一的表格语义。
知识付费最新版知识付费做的最好的平台，网创资源知识付费 知识付费网站搭建，搭建知识付费APP平台教学：在线教育系统源码。
m0_73984942的博客
09-06 467
知识付费系统
Apache Storm：入门了解
m0_67187271的博客
09-03 904
Storm 是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于 Hadoop 对于批量数据处理的作用，但是 Storm 更侧重于实时数据流的处理。
Apache DolphinScheduler项目与社区7-8月发展报告
Apache DolphinScheduler开源社区
09-03 561
各位热爱 Apache DolphinScheduler 的小伙伴们，社区7-8月报更新啦！这里将记录 Apache DolphinScheduler 社区每月的重要更新，欢迎关注！
部署Apache网站
qq_45496140的博客
09-06 302
3.调整apache服务器主文件的配置，在该文件中我们要进行Listen#ServerName#DocumentRoot的配置。这个页面出来了，说明lamp的大环境是没错的，已经搭出来了。2.创建文件编写php网页代码。
Apache Tomcat 6.0.45 下载、安装和配置教程
梁辰兴的博客
09-03 338
5，在浏览器输入：http://localhost:8888/index.jsp，出现如下界面即可。3，此时需要重启服务，右击该图标，选择Stop service，停止服务。2，由于8080端口容易重复，所以将端口号改为8888，修改完成后保存。6，这里会自动检测安装好的jkd环境，存在的话就单击“Next”按钮。4，此时再右击该图标，选择start service，重启服务。7，此处可以将C盘改为D盘，然后单击“Install”按钮。9，单击“Finish”按钮，完成安装。1，双击图标，启动程序。
大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg
weixin_44435110的博客
09-03 844
Hive是一个成熟的数据仓库解决方案，特别适合于批处理和数据仓库应用。Iceberg是一个更为现代的数据表格式，提供了更强的事务支持和性能优化，适用于需要更灵活数据管理和实时处理的应用场景。选择 Hive 还是 Iceberg 取决于具体的业务需求和技术背景。如果你的应用需要支持事务处理和更高的读写性能，Iceberg 可能是一个更好的选择。如果你的应用主要是批处理且对现有 Hadoop 生态系统有较高的依赖度，那么 Hive 仍然是一个可行的选择。
flink---window
n2670820434的博客
09-02 731
DataStream:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/datastream/operators/windows/SQL:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/table/sql/queries/window-tvf/窗口的长度(大小) > 窗口的间隔 : 如每隔5s, 计算最近10s的数据 【滑动
大数据-121 - Flink Time Watermark 详解 附带示例详解
永远好奇，无限进步！
09-06 1385
Watermark 是一个特殊的标志，它用于告诉 Flink 数据流中事件的进展情况。简单来说，Watermark 是 Flink 中估计的“当前时间”，表示所有早于该时间戳的事件都已经到达。Flink 认为当前时间在 Watermark 时间戳之前的所有事件已经接收完毕，不再期待有早于该时间戳的事件。当 Watermark 时间戳更新时，系统可以触发基于事件时间的窗口操作，比如窗口计算、聚合等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值