Apache Flink连载（二十三）：Flink HA - Flink基于Yarn HA

已于 2024-01-09 13:17:15 修改
阅读量462 收藏 7
点赞数 10
分类专栏： 大数据计算体系技术栈 Apache Flink 文章标签： apache flink 大数据
于 2024-01-01 11:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/135258690
版权
本文详细介绍了如何配置Apache Flink在Yarn上的高可用（HA），包括修改Yarn的配置参数，设置Flink的flink-conf.yaml文件，以及通过Zookeeper和HDFS实现JobManager的故障恢复。在测试过程中，通过模拟JobManager进程挂掉，观察Yarn重试启动JobManager并恢复任务的过程，验证了Flink Yarn HA的有效性。
摘要由CSDN通过智能技术生成

  🏡 个人主页：IT贫道-CSDN博客

 🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

 🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频

目录

1. Yarn HA配置

2. 启动测试

正常基于Yarn提交Flink程序，无论使用哪种模式提交任务都会启动JobManager角色，JobManager角色是哪个进程可以通过Yarn WebUI查看对应的ApplicationID启动所在节点的对应进程， Yarn Session提交任务模式中该角色进程为“YarnSessionClusterEntrypoint”、Yarn Per-Job提交任务模式中该角色进程为“YarnJ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
qq_32020645的博客
12-28 1497
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Apache Flink连载（二十一）：Flink On Yarn运行原理-Yarn Application模式
qq_32020645的博客
12-30 1067
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）
qq_32020645的博客
12-29 1087
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。Per-Job模式就是直接由客户端向Yarn中提交Flink作业，每个作业形成一个单独的Flink集群。
Apache Flink连载（十二）：Flink集群部署-Flink On Yarn
qq_32020645的博客
12-13 934
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。Flink基于Yarn提交任务通常叫做Flink On Yarn，Yarn资源调度框架运行需要有Hadoop集群。
Apache Flink连载（十一）：Flink集群部署-Standalone集群部署
qq_32020645的博客
12-12 1269
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Flink的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不用修改任何参数，一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等，Flink可以借助以上资源管理器来实现分布式计算，目前企业使用最多的是Flink 基于Hadoop Yarn资源管理器模式，本小节我们重点讲解Flink 基于Standalone集群。
Apache Flink连载（五）：Apache Flink快速入门 - 环境准备及入门案例
qq_32020645的博客
12-02 940
学习一门新的编程语言时，往往会从“hello world”程序开始，而接触一套新的大数据计算框架时，则一般会从WordCount案例入手，下面以大数据中最经典入门案例WordCount为例，来编写Flink代码，Flink底层源码是基于Java代码进行开发，在Flink编程中我们除了可以使用Java语言来进行编写Flink程序外，还可以使用Scala、Python语言来进行编写Flink程序，在后续章节中我们将会主要使用Java和Scala来编写Flink程序。下面来准备下Flink开发环境。
Apache Flink连载（十八）：Flink On Yarn运行原理及环境准备
qq_32020645的博客
12-27 1733
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
CDH安装flink报错：flink/bin/flink-yarn.sh: line 17: rotateLogFilesWithPrefix: command not found
qq_43689775的博客
03-20 590
rotateLogFilesWithPrefix: command not found
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 681
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
【JAVA实战】如何使用 Apache POI 在 Java 中写入 Excel 文件
weixin_48681435的博客
01-25 1437
大家好！🌟 在这篇文章中，我们将带你深入学习如何使用 Apache POI 在 Java 中编写 Excel 文件的技巧！📊📚 如果你是 Java 开发者，或者正在探索如何处理 Excel 文件的数据，那么这篇文章绝对不容错过！🚀在这里，我们不仅仅是介绍基础的 Excel 文件写入方法，还会通过详细的步骤和代码示例，帮助你快速上手。✨ 通过本篇文章，你将掌握如何创建 Excel 文件、如何插入数据以及如何使用 Apache POI 简单而高效地操作 Excel 文件！📑💻。
Netmask：网络掩码生成和转换程序！全参数详细教程！Kali Linux 教程！黑客渗透测试！
qq_24305079的博客
01-23 645
Netmask 工具是一款强大的网络地址处理工具，支持多种格式的地址定义与转换，功能丰富、灵活实用，适用于网络运维和安全测试等场景，是网络从业者不可或缺的助手。
云岚到家项目100问 v1.0
weixin_69595694的博客
01-23 1139
我们使用的是SpringBoot定义Controller方法，接口设计包括7个方面，定义controller方法根据接口设计的内容进行定义：1.根据HTTP请求方法使用不同的注解使用 @GetMapping注解表示GET方法HTTP方法与注解对应如下：@PutMapping：put方法@DeleteMapping：delete方法@PostMapping：post方法@RequestMapping 可用于任何方法2.在类及方法上设置接口路径。
Apache Doris 2.1.8 版本正式发布
SelectDB
01-24 1059
亲爱的社区小伙伴们，该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复，进一步加强系统的性能和稳定性，欢迎大家下载体验。
金融场景 PB 级大规模日志平台：中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
SelectDB
01-21 1817
导读：中信银行信用卡中心每日新增日志数据 140 亿条（80TB），全量归档日志量超 40PB，早期基于 Elasticsearch 构建的日志云平台，面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用替换 Elasticsearch，实现资源投入降低 50%、查询速度提升 2～4 倍，同时显著提高了运维效率。本文转录自陈地长（中信信用卡中心信息技术部 高级工程师）在 Doris Summit Asia 2024 上的演讲，经编辑整理。
在生产环境中部署和管理 Apache：运维从入门到精通
最新发布
Echo_Wish的博客
01-26 305
Apache 的强大之处在于它的灵活性和可扩展性，而这也对运维人员提出了更高的要求。在生产环境中，仅仅会安装和配置是不够的，还需要深入掌握性能优化、安全加固和实时监控的技能。通过本文的指导，希望你能够更自信地管理生产环境中的 Apache，成为一名真正的运维高手。
Apache Airflow 全面解析
由数入道，在信息与智慧的交汇处，探索古老哲理与现代科技的深邃融合。我们坚信，世界的本质即信息，而人工智能则是信息的有序组织形式的最好途径。5000年华夏智慧结合当代人工智能的发展，深入剖析信息在宇宙万象中的流动与演化，揭示隐藏在数据背后的玄理与道义。
01-25 294
由 Airbnb 于 2014 年创建，2016 年进入 Apache 孵化器，2019 年成为顶级项目。通过以上系统性解析，开发者可全面掌握 Airflow 的核心能力，根据实际业务需求设计高效可靠的数据流水线。，通过编程方式定义、调度和监控复杂的数据流水线（Pipeline），适用于。Apache Airflow 是一个开源的。Airflow 采用。
在Ubuntu上使用Apache+MariaDB安装部署Nextcloud并修改默认存储路径
戴草帽的大z的博客
01-24 917
Nextcloud 是一款开源的私有云存储解决方案，允许用户轻松搭建自己的云服务。它不仅支持文件存储和共享，还提供了日历、联系人、任务管理、笔记等丰富的功能。本文将详细介绍如何在 Ubuntu 22.04 LTS 上使用 Apache 和 MariaDB 安装部署 Nextcloud，并修改默认存储路径为 /home/nextcloud_data。
小程序 uniapp 地图 自定义内容呈现，获取中心点，获取对角经纬度，首次获取对角经纬度
qq_43557848的博客
01-24 490
使用uniapp 小程序 使用地图，我使用的是uniapp原生的地图，实现根据坐标在地图上显示自定义内容，首次加载获取坐标对角经纬度，通过对角经纬度给后端，进行只显示当前屏幕内的自定义内容，在通过拖拽事件，加载范围内（对标坐标经纬度）显示需要加载的内容，以及中心点，地图层级。
Apache POI
Annaday的博客
01-24 719
Apache POI 是用于在 Java 环境中读写 Microsoft Office 格式文件的开源库。支持对 Excel、Word、PowerPoint 等多种 Office 文件格式进行创建、读取、修改操作。由于企业开发中最常用的就是导出Excel文件，所以本文就以此进行讲解。
org.apache.flink:flink-yarn_2.11:1.18.1
12-13
org.apache.flink:flink-yarn_2.11:1.18.1 是 Apache Flink 项目中的一个依赖包。这个包的主要作用是在 Hadoop YARN 集群上部署和管理 Flink 作业。具体来说，它包含了与 YARN 集成的相关代码，使得 Flink 可以利用 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值