Flink如何和Yarn进行交互

已于 2024-04-11 10:39:34 修改
阅读量164 收藏
点赞数 2
文章标签： flink 大数据
于 2024-04-11 10:39:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/meiguangxin112/article/details/137630186
版权

Client上传jar包和配置文件到HDFS集群上
Client向Yarn ResourceManager提交任务并申请资源
ResourceManager分配Container资源并启动ApplicationMaster,然后AppMaster加载Flink的Jar包和配置构建环境,启动JobManager，JobManager和ApplicationMaster运行在同一个container上。一旦他们被成功启动，AppMaster就知道JobManager的地址(AM它自己所在的机器)。它就会为TaskManager生成一个新的Flink配置文件(他们就可以连接到JobManager)。这个配置文件也被上传到HDFS上。此外，AppMaster容器也提供了Flink的web服务接口。YARN所分配的所有端口都是临时端口，这允许用户并行执行多个Flink
ApplicationMaster向ResourceManager申请工作资源,NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager
TaskManager启动后向JobManager发送心跳包，并等待JobManager向其分配任务
 

jasen91
关注
flink on yarn的实现及交互过程
penriver的博客
09-10 979
1 yarn 基本架构 yarn是一个资源管理与调度平台，不仅hadoop跑在上面，flink也可以直接向yarn申请资源并运行上去。 yarn使用cgroup隔离资源，实现了container。 Resource Manager组件管理集群资源。 Node Manager组件管理1台机器，在上面运行Container。 Container是一个具体容器，分配一定的CPU、内存、磁盘资源，在上面运行具体的任务 2 向yarn提交应用 向yarn提交应用的交互过程，大体如下 3 Flink on Yar
Flink on yarn详解
JustinMars的博客
09-27 1119
Flink提供在Yarn上两种运行模式：Session-Cluster和Per-Job-Cluster，其中Session-Cluster的资源在启动集群时就定义完成，后续所有作业的提交都共享该资源，作业可能会互相影响，因此比较适合小规模短时间运行的作业，对于Per-Job-Cluster而言，所有作业的提交都是单独的集群，作业之间的运行不受影响（可能会共享CPU计算资源），因此比较适合大规模长时间运行的作业。
flink提交作业到yarn
chanyue123的博客
12-01 8503
讲解flink如何提交到yarn
Flink（五十一）—— 一张图轻松掌握 Flink on YARN 基础架构与启动流程
weixin_42073629的博客
10-22 427
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。 Flink on YARN 应用启动流程图 Flink on YARN 集群部署模式涉及 YARN 和 Flink 两大开源框架，应用启动流
Flink实战——Yarn运行模式部署
m0_46332441的博客
04-10 2033
会话模式下的相关Linux操作命令见下方：1. 开启Yarn会话命令（会话模式需要单独开启一个YARN会话2.命令行提交作业命令com.DemoDemo.jar其中，红色标注字体为用户根据实际情况所设定的类名和Jar包名。
Flink ON YARN
libaowenBlog的博客
08-20 4093
Flink ON YARN 模式就是使用客户端的方式，直接向Hadoop集群提交任务即可，不需要单独启动Flink进程。
Flink on Yarn 原理剖析
hhhhhhfq的博客
04-01 2324
本文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行介绍。 Flink 架构概览 1、Flink 架构概览 —— Job 用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，Client 端会生成一个 JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 Jo
Flink是如何与YARN进行交互的
javawins的专栏
01-28 716
　　YRAN客户端需要访问Hadoop的相关配置文件，从而可以连接YARN资源管理器和HDFS。它使用下面的规则来决定Hadoop配置：   　　1、判断YARN_CONF_DIR,HADOOP_CONF_DIR或HADOOP_CONF_PATH等环境变量是否设置了（按照这些变量的顺序判断）。如果它们中有一个被设置了，那么就会读取其中的配置。 　　2、如果上面的规则失败了（如果正确安装了 YA...
Flink On Yarn
weixin_45520075的博客
07-23 773
Yarn模式 Yarn是一个分布式集群资源管理框架，在Yarn集群上可以部署运行各种分布式式应用程序。例如：Mapreduce，Spark。Yarn框架为这些分布式应用程序运行提供了可靠的支持。 因为在生产开发环境中很少使用Standalone模式，Flink On Yarn模式用的稍微多一点，今天我们就来讲讲Flink On Yarn 第一种方式 在Yarn集群中初始化一个Flink集群，该Flink集群占用着指定的资源，以后提交 ...
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1131
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
Flink On kubernetes
happy_king_zi的博客
10-15 1296
Session 模式下，Flink 集群处于长期运行状态，当集群的Master组件接收到客户端提交的任务后，对任务进行分析并处理。用户将Flink集群的资源描述文件提交到 Kubernetes 之后，Flink 集群的 FlinkMaster 和 TaskManager 会被创建出来，如下图所示，TaskManager 启动后会向 ResourceManager 模块注册，这时 Flink Session 集群已经准备就绪。
FLINK SQL语法(1)
王小工小工历程
10-14 1385
Flink SQL Connector是一种用于在Flink SQL与外部数据源或数据汇之间建立连接的插件。它允许Flink SQL从外部数据源读取数据，并将处理后的数据写入到外部数据汇中。通过Connector，Flink SQL能够轻松实现对各种类型数据的实时处理和分析。在某些特殊情况下，用户可能需要自定义Connector来满足特定的需求。Flink提供了丰富的API和工具来支持用户自定义Connector。自定义Connector通常涉及以下几个步骤：1.定义Connector的工厂类。
初识Flink
程序员小潘
10-15 636
伴随现代信息技术的持续发展，我们能清晰地察觉到，信息生产的规模不断扩张，信息更新的速率持续攀升。以电商系统为例，用户从搜索商品到下单支付，整个链路可能短短几秒就可以完成，倘若能在这条链路里更迅速地分析与挖掘出价值更高的信息，便能取得优势地位。在这种需求推动的宏大背景下，各类批处理、流处理引擎得以快速发展，其中 Apache Flink 更是成为后来居上的佼佼者。
Flink Kubernetes Operator
最新发布
王小工小工历程
10-17 1089
Flink Kubernetes Operator是一个用于在Kubernetes集群上管理Apache Flink应用的工具。
FLINK SQL语法(2)
王小工小工历程
10-14 804
Regular Joins，即常规连接，是Flink中最通用的连接类型。在这种连接下，连接两侧表的任何新记录或变更都是可见的，并会影响整个连接的结果。例如，如果左侧有一条新记录，在连接条件满足的情况下，它将和右侧表的之前和之后的所有记录进行连接。Interval Joins连接两个数据流（或表），并基于相同的关键字（Key）以及一个相对时间区间来进行匹配。这个时间区间由用户指定，包括一个下界（lowerBound）和一个上界（upperBound）。
基于Flink MySQL CDC技术实现交易告警
程序员小潘
10-15 1113
CDC 的全称是 Change Data Capture，是一种用于捕获数据库变更数据的技术。例如 MySQL 对数据的所有变更都会写入到 binlog，CDC 就可以通过监听 binlog 文件来实现对 MySQL 数据变更的捕获，然后做进一步的处理。Flink CDC 将CDC技术和 Flink 流计算整合到一起，把CDC捕获到的数据变更作为 Flink数据源，以实现对数据变更的流式处理。
Flink作业骨架结构
程序员小潘
10-15 1064
Flink是大数据流计算引擎，本质上是对大数据的计算处理，那么首先要解决的问题是：数据从哪儿来？解决这个问题，就是给Flink作业定义数据源，数据源被抽象成了 SourceFunction 接口，实现该接口重写 run 方法即可接收数据。有了数据，接下来就是声明要对这些数据做哪些处理？对数据的处理被抽象成了 ProcessFunction 接口，实现该接口重写 processElement 方法即可处理一条条数据。常见的数据处理操作有：过滤、转换、聚合等。
大数据笔记之 Flink1.17 算子
凡许真的博客
10-13 1027
Flink1.17 算子
Flink事件时间和Watermark
程序员小潘
10-15 1187
内置 WatermarkGenerator 不满足需求时，也可以自定义Watermark生成策略。如果数据本身携带 Watermark 标志，那么可以重写 onEvent() 来发送 Watermark。@Override// 假设数据格式中 字符串W开头是Watermark，其中f1是时间戳@Override// NOOP如果数据本身没有Watermark标志，我们也可以直接根据系统时钟，周期性的发送 Watermark。
Flink部署配置详解：从Standalone到YARN
总体而言，Flink的部署和配置需要深入理解其组件架构、集群拓扑、资源管理机制以及与Hadoop YARN等其他系统的交互方式。正确配置和管理Flink集群对于实现高效、稳定的数据处理至关重要。在实际应用中，还需要关注...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jasen91

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值