Flink提交作业的流程

已于 2022-10-25 19:57:24 修改
阅读量274 收藏
点赞数
分类专栏： Flink 文章标签： flink hdfs hadoop
于 2022-06-17 12:46:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Matthew93/article/details/125331463
版权

流程图

  1. 提交App之前，先上传Flink的Jar包和配置到HDFS,以便JobManager和TaskManager共享HDFS
  2. 客户端向ResourceManager提交Job，ResourceManager接到请求后，先分配container资源，然后通知NodeManager启动ApplicationMaster
  3. ApplicationMaster会加载HDFS的配置，启动对应的JobManager,然后JobManager会分析当前的作业图，将它转化成执行图(包含了所有可以并发之行的任务),从而知道当前需要的具体资源
  4. 接着，JobManager会向ResourceManager申请资源，ResouceManager接到请求后，继续分配container资源，然后通知ApplicationMaster启动更多的taskManager（先分配好container资源，再启动TaskManager）。container在启动TaskManager时也会从HDFS加载数据。
  5. Taskmanager启动后，会想JOBmanager发送心跳包。JobManager向TaskManager分配任务
Matthew117
关注
专栏目录
Flink在yarn模式下任务提交流程
机器之心
09-11 137
集群生命周期：Flink应用程序集群是一个专用的Flink集群，仅执行来自一个Flink应用程序的作业，而main()方法在集群上运行而不是客户端上运行。一旦作业完成，Flink作业集群将被关闭。JobManager具有与协调Flink应用程序的分布式执行相关的多项职责：它决定何时安排下一个任务（或一组任务），对已完成的任务或执行失败作出反应，协调检查点，并在故障时协调恢复，等等。Flink应用程序的作业可以提交到长时间运行的Flink会话集群、专用的Flink作业集群（已弃用）或Flink应用程序集群。
Flink入门（8）-Flink作业提交流程
weixin_38813363的博客
03-05 607
Flink作业提交流程概述 概述 1.在Flink Client中，通过反射启动jar中的main函数，生成FlinkStreamGraph和JobGraph，将JobGraph提交给Flink集群 2.Flink集群收到JobGraph（JobManager收到）后，将JobGraph翻译成ExecutionGraph,然后开始调度，启动成功之后开始消费数据。 pipelineExecutor有多种实现， session模式下：AbstractSessionClusterExecutor per-jo
Flink作业提交流程
WHY的博客
02-07 1915
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
Flink 命令行提交、展示和取消作业
最新发布
IT深耕十余载，大道之简
06-15 674
Apache Flink 是一个流处理和批处理的开源框架，用于在分布式环境中执行无边界和有边界的数据流。你可以使用 Flink 的命令行界面（CLI）来提交、展示和取消作业。
flink作业提交流程
张不帅
05-08 3087
文章目录独立模式（Standalone）YARN 集群1. 会话（Session）模式单作业（Per-Job）模式应用（Application）模式 （1） 一般情况下，由客户端（App）通过分发器提供的 REST 接口，将作业提交给JobManager。 （2）由分发器启动 JobMaster，并将作业（包含 JobGraph）提交给 JobMaster。 （3）JobMaster 将 JobGraph 解析为可执行的 ExecutionGraph，得到所需的资源数量，然后向资源管理器请求资源（slot
详解Flink作业提交流程
slivelight的博客
03-27 5225
一、提交流程 Flink 作业在开发完毕之后，需要提交到 Flink 集群执行。ClientFronted 是入口，触发用户开发的 Flink 应用 Jar 文件中的 main 方法，然后交给 PipelineExecutor（流水线执行器，在 FlinkClient 升成 JobGraph 之后，将作业提交给集群的重要环节。）#execue 方法，最终会选择一个触发一个具体的 PiplineExecutor 执行。 提交模式又可分为： Detached：Flink Client 创建完集
flink 作业提交流程
weixin_39856351的博客
12-09 2936
之前给大家介绍了DataStream API中 Environment 和 Transformation 连个体系的源代码，今天来了小插曲，给大家宏观介绍下 Flink 作业的提交流程，希望对大家有帮助。 一、DataStream 作业提交流程 1）、首先，先给大家展示下流程图： 2）、提交流程说明： FlinkCli 先创建一个 Flink 环境变量 然后将环境变量存入到ThreadLocal中 在启动 Flink 作业jar包的 main 方法 Flink 应用程序通过 StreamExecution
Flink部署及作业提交
qq_32165517的博客
08-26 1408
Flink部署及作业提交 Flink源码编译 Setup: Download and Start Flink Flink runs on Linux, Mac OS X, and Windows. To be able to run Flink, the only requirement is to have a working Java 8.x installation. Windows users, please take a look at the Flink on Windows guide whi
Flink任务提交流程（Standalone和Yarn）
qq_29095469的博客
07-21 1460
一、任务提交流程（Standalone) 1）App程序通过rest接口提交给Dispatcher（rest接口是跨平台，并且可以直接穿过防火墙，不需考虑拦截）。 2）Dispatcher把JobManager进程启动，把应用交给JobManager。 3）JobManager拿到应用后，向ResourceManager申请资源（slots），ResouceManager会启动对应的TaskManager进程，TaskManager空闲的slots会向ResourceManager注册。 4）Re
Flink-----Standalone会话模式作业提交流程
weixin_42492886的博客
08-16 808
注意：物理执行图(PhysicalGraph)，它执行一个执行效果，它并不是一个具体的数据结构，前面的三中图在源码中都是能找到的，唯独这个物理图不是，最重要的图是执行图(ExecutionGraph)，是作业图(JobGraph)的并行化版本，是调度层最核心的数据结构，它知识对并行子任务进行了拆分，明确了任务间数据的传输方式。逻辑流图(StreamGraph) -> 作业图(JobGraph) ->执行图(ExecutionGraph) -> 物理图(Physical Graph)
flink提交流程[shell到user class]
呵呵小短腿的博客
06-05 153
然后调用 ClientUtils.executeProgram方法。在run方法内会做一系列的运行的前置动作。通过反射最终去执行用户代码。
Flink提交作业流程
chaohui2638457321的博客
01-21 272
4.2 任务提交流程 ps：上图中7.指TaskManager为JobManager提供slots，8.表示JobManager提交要在slots中执行的任务给TaskManager。 上图是从一个较为高层级的视角来看应用中各组件的交互协作。 如果部署的集群环境不同（例如YARN，Mesos，Kubernetes，standalone等），其中一些步骤可以被省略，或是有些组件会运行在同一个JVM进程中。 具体地，如果我们将Flink集群部署到YARN上，那么就会有如下的提交流程： Fl
一文搞定 Flink Job 提交全流程
shengjk1的博客
07-09 2674
前言 前面，我们已经分析了 一文搞定 Flink 消费消息的全流程 、写给大忙人看的 Flink Window原理 还有 一文搞定 Flink Checkpoint Barrier 全流程 等等，接下来也该回归到最初始的时候，Flink Job 是如何提交的。 正文 我们知道 Flink 总共有两种提交模式：本地模式和远程模式( 当然也对应着不同的 environment，具体可以参考 Flink Context到底是什么？)，我们以本地模式为主，两种模式基本上相似。 当我们执行 env.execute ，
Flink Job的提交流程
mischen520的博客
07-12 336
用户提交的Flink Job会被转化成一个DAG任务运行，分别是：StreamGraph、JobGraph、ExecutionGraph，Flink中JobManager与TaskManager，JobManager与Client的交互是基于Akka工具包的，是通过消息驱动。整个Flink Job的提交还包含着ActorSystem的创建，JobManager的启动，TaskManager的启动和注册。 ...
Flink提交流程
mischen520的博客
06-29 112
flink的任务提交流程
肥宅小谢的博客
06-08 1287
我们来看看当一个应用提交执行时，Flink 的各个组件是如何交互协作的： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境 不同（例如 YARN，Mesos，Kubernetes，standalone 等），其中一些步骤可以被省略，或是 有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 YARN 上，那么就会有如下的提交流程： 1.Flink 任 务 提 交 后 ， Client 向 HDFS 上 传 Flink 的 Jar 包 和 配 置
一张图轻松掌握 Flink on YARN 应用启动全流程（上）
zhaowei121的博客
09-25 535
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。下篇将根据社区大群反馈，解答客户端...
Flink运行架构与作业执行流程详解
"本文将详细解析Flink的运行架构、作业执行流程以及Windows分类等相关知识点。" Flink作为一款强大的实时计算框架，在大数据处理领域扮演着重要的角色。首先，我们来了解一下Flink的运行架构。 1. Flink运行架构：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值