Flink在yarn模式下任务提交流程

已于 2023-09-11 20:50:21 修改
阅读量133 收藏
点赞数
分类专栏： flink 文章标签： flink 大数据
于 2023-09-11 17:52:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huili_lou/article/details/132809076
版权
本文详细介绍了Flink任务在YARN模式下的提交和执行流程，包括会话模式和应用模式。客户端不参与执行，负责提交数据流到JobManager。JobManager、TaskManager和Dispatcher等角色在Flink集群中协同工作，负责资源分配、任务调度和执行。在YARN模式下，TaskManager资源由YARN管理，JobManager负责任务分配。Flink应用程序可以以会话或应用模式提交，其中应用模式允许打包多个作业，提供更灵活的资源管理和调度。
摘要由CSDN通过智能技术生成

一、Flink任务提交和任务处理时架构

[中英对照]

客户端不是运行时和程序执行的一部分，而是用于准备并发送数据流到JobManager的工具。之后，客户端可以断开连接（分离模式），或保持连接以接收进度报告（附加模式）。客户端可以作为触发执行的Java/Scala程序的一部分运行，也可以在命令行进程中运行，例如 `./bin/flink run ...`。

JobManager和TaskManagers可以以多种方式启动：可以直接在机器上作为独立的集群启动，也可以在容器中运行，或由资源框架（如YARN）管理。TaskManagers连接到JobManagers，通告自己的可用性，并被分配任务。

二、角色分配

1.JobManager（作业管理器）

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沐辰56
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 2982
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
Flink-----Yarn应用模式作业提交流程
weixin_42492886的博客
08-16 834
在Yarn当中又分为Session，PerJob，Application，建议和推荐使用独立集群的，其中就包含PerJob 和Application，但是1.17版本的Flink已将PerJob标记为过时，并且Application可以解决PerJob的一些痛点，减轻客户端的一些压力，所以需要重点了解Yarn应用模式的作业提交流程。
Flink：任务提交详细流程
SDKLHKJAS的博客
03-27 7599
文章目录 1.Flink多种提交方式对比 1.1 local模式 1.1.1 纯粹的local模式运行 1.1.2 local使用remote的方式运行 1.1.3 本地提交到remote集群 1.2 standalone模式 1.3 yarn模式 1.3.1 yarn-session 1.3.2 yarn-cluster 2.flink命令参数详解 3.flink on yarn作业提交详细流程...
Flink算子简单测试样例
qq_36382892的博客
01-12 626
【代码】Flink算子简单测试样例。
FlinkSql一个简单的测试程序
qq_36382892的博客
02-19 805
通过这段代码，您可以了解如何使用 Flink Table API 和 Flink SQL 对数据流进行简单的处理和分析，包括数据拆分、选择、过滤、分组和计算。最后，通过 toRetractStream 方法将结果打印输出。以下是一个简单的 Flink SQL 示例，展示了如何使用 Flink Table API 和 Flink SQL 进行基本的数据流处理。
Flink作业提交流程（Yarn集群模式）
FlatTiger的博客
04-18 3732
会话模式 1.客户端通过REST接口，将作业提交给分发器。 2.分发器启动JobMaster，并将Job资源提交到JobMaster。 3.JobMaster向Flink的资源管理器请求资源（slots）。 4.Flink的资源管理器向Yarn资源管理器请求Container容器。 5.Yarn资源管理器启动新的TaskManager容器。 6.TaskManager向Flink的资源管理器注册自己可用的slots。 7.Flink的资源管理器通知TaskManager，向新的作业提供slots。 8.T
【Flink详解】Flink on YARN任务提交流程
话数Science
02-19 226
【Flink详解】Flink on YARN任务提交流程
Flink on yarn部署及任务提交
qq_24095055的博客
08-04 2768
文章目录1. 完成hadoop本地配置后启动2. flink提交作业到yarn的两种方式2.1 Flink ON Yarn启动流程2.2 Flink YARN Session2.2 Run a single Flink job on YARN Hadoop单机yarn配置可参考博客，除了里面提到的./start-yarn.sh外，也可以使用./start-all.sh。 1. 完成hadoop本地配置后启动 # yarn方式启动，也可以使用 ./start-yarn.sh ~/software/hadoop
flink的yarn模式的任务调度流程
03-12
在Flink的Yarn模式下，任务调度流程如下： 1. 用户提交Flink应用程序到Yarn集群。 2. Yarn ResourceManager接收到应用程序请求后，会为该应用程序分配一个ApplicationMaster。 3. ApplicationMaster启动后，会向...
Flink任务提交流程（Standalone和Yarn）
qq_29095469的博客
07-21 1452
一、任务提交流程（Standalone) 1）App程序通过rest接口提交给Dispatcher（rest接口是跨平台，并且可以直接穿过防火墙，不需考虑拦截）。 2）Dispatcher把JobManager进程启动，把应用交给JobManager。 3）JobManager拿到应用后，向ResourceManager申请资源（slots），ResouceManager会启动对应的TaskManager进程，TaskManager空闲的slots会向ResourceManager注册。 4）Re
Flink提交任务至yarn
热门推荐
asfjgvajfghaklsbf的博客
09-29 2万+
在flink on yarn模式中，flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session     每次提交都会创建一个新的flink集群，任务之间互相独立，互不影...
(6)flink on yarn的任务提交流程以及原理
张不帅
09-04 2308
文章目录任务调度流程任务调度原理 任务调度流程 任务提交后,client向hdfs上传flink的jar包以及配置 向Yarn的ResourceManager提交任务 ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster ApplicationMaster启动后加载flink的jar包和构建环境,启动JobManage...
Flink任务提交流程（yarn模式）
qq_41359684的博客
11-21 1557
Flink任务提交后，Client向HDFS上传Flink的Jar包和配置， 之后向YarnResourceManager提交任务， ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster， ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动JobM...
Flink 1.14.* Flink窗口创建和窗口计算源码
胖墩的IT博客
08-30 662
解析Flink如何创建的窗口，和以聚合函数为例，窗口如何计算聚合函数
flink---window
最新发布
n2670820434的博客
09-02 542
DataStream:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/datastream/operators/windows/SQL:https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/dev/table/sql/queries/window-tvf/窗口的长度(大小) > 窗口的间隔 : 如每隔5s, 计算最近10s的数据 【滑动
SpringBoot 实战：SpringBoot整合Flink CDC，实时追踪mysql数据变动
八戒的博客
08-30 330
Flink CDC（Flink Change Data Capture）即 Flink 的变更数据捕获技术，是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。借助Flink CDC，用户可以轻松地构建实时数据管道，实时响应和处理数据变动，为实时分析、实时报表和实时决策等场景提供有力支持。开启Binlog 后，在需要 为 Flink CDC 配置响应的权限，使其能够正常链接到 MySQL数据库，包括授权 Flink CDC 链接 数据库的用户权限。配置Flink和MySQL CDC。
大数据-114 Flink DataStreamAPI 程序输入源 自定义输入源 Rich并行源 RichParallelSourceFunction
永远好奇，无限进步！
09-02 2033
上节我们完成了FlinkDataStreamAPI的非并行源和并行源的介绍与开发，本节研究Flink的Rich并行源，Rich并行源会有更强大的能力。在 Apache Flink 中，RichSourceFunction 是一种增强的源函数（Source Function），它允许开发者在定义源操作时，能够访问 Flink 的生命周期方法、状态管理、配置访问等更多功能。
10、Flink 动态表之表到流的转换详解
猫猫爱吃小鱼粮
08-28 388
Flink 动态表之表到流的转换详解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值