Flink部署模式介绍(session,per-job,application)

已于 2024-04-19 08:29:26 修改
阅读量4.4k 收藏 13
点赞数 4
分类专栏： flink 文章标签： flink java kubernetes
于 2022-06-13 09:53:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26838315/article/details/125246223
版权
本文介绍了Flink的三种部署模式：会话模式、单作业模式和应用模式。会话模式适用于小规模、短时间作业，资源共享但可能导致竞争；单作业模式提供更好的资源隔离，适合生产环境；应用模式则在JobManager上直接运行应用，减轻客户端压力。Flink支持YARN、Kubernetes等集群管理框架，不同模式在这些框架上有不同支持情况。
摘要由CSDN通过智能技术生成

在一些应用场景中， 对于集群资源分配和占用的方式，可能会有特定的需求。 Flink 为各 种场景提供了不同的部署模式， 主要有以下三种：

  • 会话模式（Session Mode）
  • 单作业模式（Per-Job Mode）
  • 应用模式（Application Mode）

它们的区别主要在于：集群的生命周期以及资源的分配方式； 以及应用的 main 方法到底 在哪里执行——客户端（Client）还是 JobManager。接下来我们就做一个展开说明。

1.会话模式（Session Mode）

会话模式其实最符合常规思维。我们需要先启动一个集群， 保持一个会话， 在这个会话中通过客户端提交作业，如图所示。集群启动时所有资源就都已经确定， 所以所有提交的作业会竞争集群中的资源。
在这里插入图片描述
这样的好处很明显， 我们只需要一个集群， 就像一个大箱子， 所有的作业提交之后都塞进 去； 集群的生命周期是超越于作业之上的， 铁打的营盘流水的兵， 作业结束了就释放资源， 集 群依然正常运行。当然缺点也是显而易见的： 因为资源是共享的， 所以资源不够了， 提交新的作业就会失败。另外， 同一个 TaskManager 上可能运行了很多作业， 如果其中一个发生故障导 致 TaskManage

最低0.47元/天 解锁文章
陈小哥cw
关注
专栏目录
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 515
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）
qq_32020645的博客
12-29 1027
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。Per-Job模式就是直接由客户端向Yarn中提交Flink作业，每个作业形成一个单独的Flink集群。
【Flink】【第三章 Flink运行模式】 Flink on Yarn
weixin_43589563的博客
01-11 3725
Yarn模式 在yarn模式下，启动flink集群之前要启动yarn和hadoop 以Yarn模式部署Flink任务时，要求Flink有Hadoop支持的版本。Flink1.10要求Hadoop环境需要保证版本在2.2以上，并且集群中安装有HDFS服务。 yarn模式，将flink集群部署在yarn集群上，用yarn的ResourceManager负责flink集群的资源调度。 1.Flink on Yarn的两种模式说明 Flink on yarn有两种运行模式：Session-Cluster和Per
Flink ON Yarn 模式 --- per job mode 与application mode的区别
加油
11-05 800
这两种模式中最重要的区别就是main函数启动的位置不同，Flink任务调度的过程是将本地的代码构建成DataFlow图，然后提交到JobManager上面，对于per job mode来说是在本地创建DataFlow，然而对于application mode是在JobManager上创建DataFlow，这就是二者最主要的区别。2、此时ResourceManager接受到客户端的请求，就会分配一个nodemanager去启动ApplicationMaster，就是Flink中的JobManager。
大数据之Flink（二）
最新发布
wslzoooo的博客
09-07 1312
JobManager是一个Flink集群任务管理和调度的核心，是控制应用执行的主进程，每个应用都有一JobManager。前面两种模式，代码都在客户端上执行，由客户端提交给JobManager，导致客户端需要占用大量网络带宽，加重客户端所在节点的资源消耗。flink执行过程中，每个算子包含一个或多个子任务，这些子任务在不同的线程、不同的物理机或不同容器中执行。假如一个taskManager有三个slot，就会将管理的内存均分成三份，每个slot独占一份，slot不会去争抢资源。slot的数量是最大并行度。
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 4185
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
大数据学习之Flink，了解Flink的多种部署模式
2301_78038072的博客
01-22 2359
应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争。在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式。
Flink部署模式
wenqi
04-21 4697
Flink简介 Apache Flink 是一个框架和分布式处理引擎。用于对无界和 有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算 Flink的应用 一个大数据流处理引擎，为不同的行业提供大数据实时处理的解决方案。为高速准确的处理海量流式数据提供了可能。 数据规模大、实时性要求高、确保结果准确、方便扩展、故障后可恢复 Flink都可以满足 电商和市场营销：实时数据报表，广告投放，实时推荐 物联网：传感器数据采集和显示，实时报警，交通运输业 物流.
flink部署三种模式（案例操作）
全栈开发的博客
03-29 2161
flink部署操作案例
Flink的部署模式session 、pre job、aplication
wj1298250240的博客
09-01 630
传统部署模式 Session模式 Session模式是预分配资源的，也就是提前根据指定的资源参数初始化一个Flink集群，并常驻在YARN系统中，拥有固定数量的JobManager和TaskManager（注意JobManager只有一个）。提交到这个集群的作业可以直接运行，免去每次分配资源的overhead。但是Session的资源总量有限，多个作业之间又不是隔离的，故可能会造成资源的争用；如果有一个TaskManager宕机，它上面承载着的所有作业也都会失败。另外，启动的作业越多，JobManager的
flink on yarn-per job源码解析、flink on k8s介绍
weixin_51981189的博客
03-28 1145
YARN per job模式下用户程序在Client端被执行，Client端即执行flink shell命令的执行节点。Client端主要工作就是将用户写的代码转换为JobGraph，向YARN提交应用以执行JobGraph。PipelineExecutor（YarnJobClusterExecutor）将StreamGraph转换为JobGraphClusterDescriptor（YarnClusterDescriptor）通过YARN部署flink集群以执行JobGraph。
Flink 部署模式，session 、pre job、aplication三种主要模式
xuye0606的博客
08-11 5977
长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：Application Mode。本文先回顾两种传统模式的做法与存在的问题，再简要介绍Application Mode。 传统部署模式 Session模式 Session模式是预分配资源的，也就是提前根据指定的资源参数初始化一个Flink集群，并常驻在YARN系统中，拥有固定数量的JobManager和TaskManager（注意JobMa
flink部署模式
GOOMHOOM的博客
01-21 355
flink部署模式 \X001 Flink架构 \X002 flink部署模式 flink部署模式分为3种： application模式 app的main()运行在jobmanger上。只能运行一个Job，job运行完后jobmanager关闭了。 preJob模式 app的main()运行在client上，可以运行多个Job，AsyncJob不需要等待上一个Job完成，就可以直接开始运行，所有Job完成后，jobmanger就关闭了。 session模式 app的main()运行在client上，jo
Flink 部署模式
大头皮鞋的博客
05-07 2170
Flink 是一个多功能框架，以混合搭配的方式支持许多不同的部署场景。
【入门Flink】- 04Flink部署模式和运行模式【偏概念】
打怪升级
11-03 995
部署模式和运行模式
【Flink】Flink的部署模式
克里斯的博客
04-01 1542
一、本地启动 & 集群启动 1、本地启动：最简单的启动方式，其实是不搭建集群，直接本地启动。本地部署非常简单，直接解压安装包就可以使用，不用进行任何配置；一般用来做一些简单的测试。 启动成功后，访问 http://hadoop102:8081，可以对 flink 集群和任务进行监控管理 2、集群启动：如果我们想要扩展成集群，其实启动命令是不变的，主要是需要指定节点之间的主从关系。Flink 是典型的 Master-Slave 架构的分布式数据处理框架，其中 Master 角色对应着JobMa
flink三种部署模式
u011624157的专栏
08-11 5831
部署模式 flink可以通过以下三种模式部署： Session Mode Per-Job Mode Application Mode 以上方式主要区别在于 集群生命周期和资源隔离保证 应用程序的main方法是在客户端还是在集群上执行。 Session Mode(会话模式) 会话模式假定存在已经在运行的集群，并使用该集群的资源来执行任何提交的应用程序。在同一（会话）集群中执行的应用程序使用并因此竞争相同的资源。这样做的好处是，您不必为每个提交的作业都创建集群。但是，如果其中一项作业行为不当或关闭了ta
flink提交有几种模式 yarn-session模式 Application模式 Per-Job模式（生产中一般用这个，因为不论是监控还是提交都很方便，一个任务yarn分配一次） 详细解释
05-18
Flink 提交作业的三种模式： 1. Yarn-session 模式：在该模式下，Flink 集群与YARN 集成，即 Flink 集群在 YARN 上启动，并在其中开启一个长期运行的会话（Session），可以重复提交多个 Flink 作业。 2. Application 模式：在该模式下，每次提交 Flink 作业都会启动一个新的 YARN 应用程序，Flink 集群和 YARN 集成。 3. Per-Job 模式：在该模式下，每次提交 Flink 作业都会启动一个新的 YARN 应用程序，Flink 集群和 YARN 集成。与 Application 模式不同的是，Per-Job 模式下每次提交的作业都是一个独立的应用程序，即每个任务只分配一次资源，适用于生产环境中的任务提交，可以更方便地监控和管理每个作业。 总的来说，Yarn-session 模式适用于需要交互式查询和开发的场景，而 Application 模式和 Per-Job 模式适用于生产环境下的批处理和流处理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陈小哥cw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值