Flink的Yarn应用模式作业提交流程

已于 2023-06-13 10:09:29 修改
阅读量129 收藏
点赞数
分类专栏： Flink 文章标签： flink 大数据
于 2023-06-12 21:23:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40382400/article/details/131177159
版权

1 启动AM
2.1 启动分发器
2.2 启动资源管理器
2.3 分发器启动JobMaster
3.1 生成逻辑流图 StreamGraph
3.2 生成作业流图 JobGraph
3.3 生成执行流图 ExecutionGraph
3.4 注册、请求slot
4 申请资源
5 启动TaskManager
6 注册slot
7 分配slot
8 提供slot
9.1 分配任务
9.2 生成物理流图 PhysicalGraph

AM就是JobManager
在这里插入图片描述

青云游子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 2932
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
Flink在yarn模式下任务提交流程
机器之心
09-11 104
集群生命周期：Flink应用程序集群是一个专用的Flink集群，仅执行来自一个Flink应用程序的作业，而main()方法在集群上运行而不是客户端上运行。一旦作业完成，Flink作业集群将被关闭。JobManager具有与协调Flink应用程序的分布式执行相关的多项职责：它决定何时安排下一个任务（或一组任务），对已完成的任务或执行失败作出反应，协调检查点，并在故障时协调恢复，等等。Flink应用程序的作业可以提交到长时间运行的Flink会话集群、专用的Flink作业集群（已弃用）或Flink应用程序集群。
【flink 任务提交源码】application模式提交 【1】
m0_51188561的博客
07-02 1074
flink源码，任务提交，application模式，yarn
Flink 提交到 Yarn的两种模式
yqqの博客
12-25 4221
Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。 这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop 集群，就可以执行 MapReduce 和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不 需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且 Hadoop 的版本需要是 2.2 及以上。 Flink On Yarn 的内部实现原理： 当
Flink-----Yarn应用模式作业提交流程
weixin_42492886的博客
08-16 801
在Yarn当中又分为Session，PerJob，Application，建议和推荐使用独立集群的，其中就包含PerJob 和Application，但是1.17版本的Flink已将PerJob标记为过时，并且Application可以解决PerJob的一些痛点，减轻客户端的一些压力，所以需要重点了解Yarn应用模式的作业提交流程。
Flink on Yarn 提交流程与提交模式
hanzongqing的博客
03-10 3536
Flink
Flink作业提交流程（Yarn集群模式）
FlatTiger的博客
04-18 3710
会话模式 1.客户端通过REST接口，将作业提交给分发器。 2.分发器启动JobMaster，并将Job资源提交到JobMaster。 3.JobMaster向Flink的资源管理器请求资源（slots）。 4.Flink的资源管理器向Yarn资源管理器请求Container容器。 5.Yarn资源管理器启动新的TaskManager容器。 6.TaskManager向Flink的资源管理器注册自己可用的slots。 7.Flink的资源管理器通知TaskManager，向新的作业提供slots。 8.T
Flink 作业提交流程 YARN
qq_41982570的博客
04-29 1548
Flink 作业提交流程
Flink 1.17教程：Standalone会话模式和Yarn应用模式的作业提交流程
学亮编程手记
09-01 110
逻辑流图（StreamGraph）→ 作业图（JobGraph）→ 执行图（ExecutionGraph）→ 物理图（Physical Graph）。
Flink常见面试题和答案、作业执行流程、windows分类等
01-12
Per-Job模式直接在YARN上提交运行Flink作业，每个任务会对应一个Job，一个任务会根据自身的情况，向YARN申请资源，直到作业执行完成，并不会影响下一个作业的正常运行。 5. Flink窗口（Windows） Flink窗口...
Flink面试题.pdf
07-26
Flink可以以多种方式部署，包括standalone模式、Yarn模式、Mesos模式、Kubernetes模式、Docker模式、AWS模式、Google Compute Engine模式、MAPR等。其中，Yarn模式是最常用的部署模式。 四、Flink on Yarn的部署 ...
flink中文教程.zip
03-02
- **集群部署**：包括YARN、Mesos和独立部署模式，以及如何配置资源管理。 - **高可用性**：介绍如何配置容错机制，确保服务的连续性和数据不丢失。 6. **调试和监控**： - **日志分析**：查看Flink的日志以识别...
【Flink篇04】Flink运行时架构1
08-04
任务提交流程如下：客户端首先将Flink的Jar包和配置上传至HDFS，然后向YARN的ResourceManager提交任务。ResourceManager分配Container启动ApplicationMaster，ApplicationMaster负责启动JobManager。接着，...
flink-1.13.6-bin-scala_2.12.tgz资源下载
05-30
通过这些文件，你可以搭建起一个本地的 Flink 集群，或者连接到远程集群进行作业提交和管理。 总的来说，`flink-1.13.6-bin-scala_2.12.tgz` 是一个全面的 Flink 发行版，适合开发者用于构建和部署实时数据处理应用...
Flink时间和窗口
L
07-24 1024
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算子进行计算处理。​ 有两个非常重要的时间点：（1）一个是数据产生的时刻，我们把它叫作“事件时间”（Event Time）；
Flink-CDC解析（第47天）
最新发布
syhiiu的博客
07-27 2118
本文主要概述了Flink-CDC
Flink笔记整理（四）
LUyan10086的博客
07-24 1437
Flink是一个批流一体的框架，Flink的批处理就是借助其中的窗口功能实现。 在批处理统计中，我们可以等待一批数据都到齐后，统一处理。但是在实时处理统计中，我们是来一条就得处理一条，那么我们怎么统计最近一段时间内的数据呢？引入“窗口”。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。接下来我们就深入了解一下Flink中的时间语义和窗口的应用。Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
简简单单Onlinezuozuo
07-24 596
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动Flink CDC（Flink Change Data Capture）是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。与Flink计算框架相结合，Flink CDC能够高效地实现海量数据的实时集成。其核心功能在于实时监视数据库或数据流中的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。
Flink On Yarn的作业完整提交流程
04-20
Flink On Yarn的作业完整提交流程包括以下步骤： 1. 在Flink Web UI上提交作业，并生成Jar包。 2. 将Jar包上传至HDFS。 3. 在YARN上以Session Cluster模式启动Flink集群。 以上步骤将Flink应用程序打包并在Yarn上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值