【Flink】Flink提交流程

最新推荐文章于 2024-05-17 17:27:38 发布

一杯咖啡半杯糖

最新推荐文章于 2024-05-17 17:27:38 发布

阅读量898

点赞数

分类专栏： Flink实战文章标签： flink 大数据

本文链接：https://blog.csdn.net/sinat_23225111/article/details/132454902

版权

Flink实战专栏收录该内容

95 篇文章 136 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flink在实际生产环境中使用Per-Job模式提交到YARN的详细流程，包括客户端提交作业、YARN资源管理器分配Container、JobManager与TaskManager的交互等关键步骤。

摘要由CSDN通过智能技术生成

我们通常在学习的时候需要掌握大数据组件的原理以便更好的掌握这个大数据组件，Flink实际生产开发过程中最常见的就是提交到yarn上进行调度，模式使用的Per-Job模式，下面我们就给大家讲下Flink提交Per-Job任务到yarn上的流程，流程图如下

（1）客户端将作业提交给 YARN 的资源管理器，这一步中会同时将 Flink 的 Jar 包和配置
上传到 HDFS，以便后续启动 Flink 相关组件的容器。
（2）YARN 的资源管理器分配 Container 资源，启动 Flink JobManager，并将作业提交给
JobMaster。
（3）JobMaster 向资源管理器请求资源（slots）。
（4）资源管理器向 YARN 的资源管理器请求 container 资源。
（5）YARN 启动新的 TaskManager 容器。
（6）TaskManager 启动之后，向 Flink 的资源管理器注册自己的可用任务槽。
（7）资源管理器通知 TaskManager 为新的作业提供 slots。
（8）TaskManager 连接到对应的 JobMaster，提供 slots。
（9）JobMaster 将需要执行的任务分发给 TaskManager，执行任务。