Flink总结之彻底搞懂部署模式

已于 2023-03-23 14:22:38 修改
阅读量1.2k 收藏 2
点赞数 2
分类专栏： Flink 大数据 文章标签： flink 大数据 运维
于 2023-03-15 23:45:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43929753/article/details/129573494
版权

Flink总结之彻底搞懂部署模式

文章目录

Flink是我们实时开发过程中绕不开的技术栈，通过本文可以彻底搞懂Flink的部署模式，更深入了解Flink架构

一、部署模式分类

Flink支持三种部署模式，分别是会话模式（Session Mode）、单作业模式（Per-Job Mode）（1.15版本已弃用）、应用模式（Application Mode）。他们三者的主要区别是集群的生命周期以及资源的分配方式不同以及程序执行的位置不同，接下来进行一一介绍

image.png
官方文档链接：

1. 会话模式（Session Mode）

会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争

image.png

优点
  1. 集群启动时就已经创建了会话，资源也都是集群启动过程中确定的
  2. 所有提交的作业都在这个会话中，作业结束就释放资源
缺点
  1. 由于资源是共享的，所以当作业较多时就会产生资源竞争，资源不够了会导致作业提交失败
  2. 同一个TaskManager上可能运行了很多作业，如果一个作业导致TaskManager宕机，那么在这个TaskManager上的作业都会受到影响

2. 单作业模式（Per-Job Mode）

单作业模式是不同于会话模式的，单作业模式是需要依赖其他资源管理器来实现的，比如yarn、k8s等，由于会话模式是共享资源，为了解决这个问题，单作业模式为每一次提交的任务都创建一个集群，每个作业的资源都相互隔离，并且一个TaskManager宕机不会影响其他作业。

image.png

优点
  1. 为每一个作业启动一个集群，因此不会存在共享资源的问题，作业之间的资源相互隔离
  2. 发生故障时即使TaskManager宕机不会影响其他作业
缺点
  1. 每一个作业启动一个集群，比较浪费资源
  2. Flink本身无法直接这样运行，需要借助第三方资源管理器，比如YARN、K8S等
  3. Flink1.15版本被标记为废弃，使用应用模式替代；链接：

image.png

3.应用模式（Application Mode）

应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。所以应用模式的解决办法就是不需要客户端了，直接把应用提交到JobManager上运行**，是直接由 JobManager 执行应用程序的，并且即使应用包含了多个作业，也只创建一个集群。 **

image.png

优点
  1. 和单作业模式一样进行资源隔离，但是但作业模式每个作业一个集群，应用模式共用一个集群
  2. 任务提交到JobManager上，不需要客户端解析，减少客户端压力
和单作业模式的不同
  1. 任务提交不同，单作业模式将任务提交到客户端，客户端进行解析，增加客户端压力，而应用模式提交到JobManager，减少客户端的压力

二、独立部署

独立部署的概念是由Flink进行资源的管理，也是最简单的部署方式，此模式是独立运行的，不依赖第三方资源管理平台，缺点是资源不足的情况下会出现故障，不会自动扩展或者动态分配资源，必须手动处理。独立部署也分上面三种部署方式，分别是会话模式、单作业模式还是应用模式。生产环境不建议使用。

1. 会话模式

会话模式是不依赖第三方资源调度管理平台，因此直接解压flink安装包，然后执行start-cluster.sh 即可开启会话模式

2. 单作业模式

Flink 本身无法直接以单作业方式启动集群，一般需要借助一些资
源管理平台。所以 Flink 的独立（Standalone）集群并不支持单作业模式部署。

3. 应用模式

应用模式的特点是不提前创建集群，所以不能使用start-cluster.sh进行启动，可以通过使用standalone-job.sh 这个启动命令来启动JobManager

bin/standalone-job.sh start --job-classname com.xxx.xxx.WordCount

通过taskmanager.sh 启动TaskManager

bin/taskmanager.sh start

4. 高可用

此时的JobManager存在单点故障的问题，因此需要对JobManager进行高可用配置，最好使用一主多备，高可用通过依赖zookeeper进行实现，具体实现过程这里不进行说明
image.png

三、YARN部署

YARN部署是指Flink的资源调度由YARN进行管理，需要依赖Hadoop的YARN管理器，也是目前市场上使用最多的模式，在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式

客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上， Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。 Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源。

使用YARN的前提是已经安装好了Hadoop。并且配置好环境变量，HADOOP_CLASSPATH是必须配置的

# 编辑环境变量配置文件，此处说明下，profile这个配置文件和profile.d下的配制文件的区别：
# profile是系统环境变量，对所有用户都生效，只有在login shell 时才会执行这个配置文件
# 	
# profile.d下的配置文件是应用程序的配置文件，
#		/etc/profile会首先执行/etc/profile.d/目录下的所有*.sh文件
sudo vim /etc/profile.d/my_env.sh
HADOOP_HOME=/opt/module/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
# 必须配置
export HADOOP_CLASSPATH=`hadoop classpath

1. 会话模式

这里的会话模式和独立部署的会话模式不同，需要先申请一个YARN会话来启动Flink集群

# -nm test的意思是任务名
bin/yarn-session.sh -nm test

其他一些参数说明：

-d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，即使关掉当前对话窗口， YARN session 也可以后台运行。
-jm(–jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。
-nm(–name)：配置在 YARN UI 界面上显示的任务名。
-qu(–queue)：指定 YARN 队列名。
-tm(–taskManager)：配置每个 TaskManager 所使用内存。

YARN会话启动后会给出一个WebUI地址以及一个 YARN application ID 。
在部署作业的时候可以通过WebUI部署也可以通过后台命令行部署 。

2. 单作业模式

单作业模式是每提交一个任务就会生成单独的一个集群环境，因此我们开启单作业模式直接通过提交任务即可.
启动作业

bin/flink run -d -t yarn-per-job -c com.szc.wc.StreamWordCount xxx.jar

查看或取消作业

# 查看作业
bin/flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY
# 取消作业
bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>

由于单作业模式是每个任务一个集群，因此取消某个作业就会使这个作业对应的集群也停掉。

3. 应用模式

应用模式也非常简单，和单作业模式类似
启动作业

bin/flink run-application -t yarn-application -c com.szc.wc.StreamWordCount xxx.jar

查看或取消作业

# 查看作业
bin/flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY
# 取消作业
bin/flink cancel -t yarn-application -Dyarn.application.id=application_XXXX_YY <jobId>

4. 高可用

YARN 模式的高可用和独立模式（Standalone）的高可用原理不一样。Standalone 模式中, 同时启动多个 JobManager, 一个为“领导者”（leader），其他为“后备”（standby） , 当 leader 挂了, 其他的才会有一个成为 leader。而 YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 所以其实是利用的 YARN 的重试次数来实现的高可用。

结束~

4935同学
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
剑指Offer：孩子们的游戏（Python）
01-20
题目 每年六一儿童节,牛客都会准备一些小礼物去看望孤儿院的小朋友,今年亦是如此。HF作为牛客的资深元老,自然也准备了一些小游戏。其中,有个游戏是这样的:首先,让小朋友们围成一个大圈。然后,他随机指定一个数m,让编号为0的小朋友开始报数。每次喊到m-1的那个小朋友要出列唱首歌,然后可以在礼品箱中任意的挑选礼物,并且不再回到圈中,从他的下一个小朋友开始,继续0…m-1报数…直到剩下最后一个小朋友,可以不用表演,并且拿到牛客名贵的“名侦探柯南”典藏版(名额有限哦!!_)。请你试着想下,哪个小朋友会得到这份礼品呢？ (注：小朋友的编号是从0到n-1)。 思路 约瑟夫环问题 通过公式推导f(n)=(f(
Flink高可用集群部署
10-09
系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.4.0
【大数据】Flink 之部署篇
书山有路，学海无涯。记录成长，追逐梦想
02-22 1427
在所有其他模式下，应用程序的 main() 方法都在客户端执行。这一过程包括在本地下载应用程序的依赖项，执行 main() 以提取 Flink 运行时可以理解的应用程序表示（即 JobGraph），并将依赖项和 JobGraph 发送到集群。这就使客户端成为资源消耗大户，因为它可能需要大量网络带宽来下载依赖项并将二进制文件发送到集群，还需要 CPU 周期来执行 main()。当客户端被多个用户共享时，这一问题会更加突出。
Flink架构、原理与部署测试
01-27
ApacheFlink能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理。Flink从另一个视角看待流处理和批处理，将二者统一起来：Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的；批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的。Flink流处理特性：支持高吞吐、低延迟、高性能的流处理
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
11-03
flink整合Hadoop，注意：以 Yarn 模式部署 Flink 任务时，要求 Flink 是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法实现了高吞吐和容错性，但是牺牲了低延迟和实时处理的能力，也不能使用窗口与自然时间相匹配。Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
Flink部署模式
wenqi
04-21 4558
Flink简介 Apache Flink 是一个框架和分布式处理引擎。用于对无界和 有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算 Flink的应用 一个大数据流处理引擎，为不同的行业提供大数据实时处理的解决方案。为高速准确的处理海量流式数据提供了可能。 数据规模大、实时性要求高、确保结果准确、方便扩展、故障后可恢复 Flink都可以满足 电商和市场营销：实时数据报表，广告投放，实时推荐 物联网：传感器数据采集和显示，实时报警，交通运输业 物流.
flink部署模式总结
weixin_38251332的博客
06-20 1119
基于flink-1.15.0此部署模式主要用于测试此部署模式，由flink自己负责资源管理分配此部署模式，main函数在jobmanager运行并生成job graph，减轻客户端压力部署方式：flink部署模式（一）- standalone和application此部署模式，共享jobmanager和taskmanager，所有的job都在一个runtime中运行。 优点： 启动集群只有jobmanager，提交job才去yarn申请资源启动taskmanager，任务完成自动释放taskmanager，
Flink的安装部署的几种模式详解
ing
04-22 6642
Flink的安装部署：Local本地模式|Standalone独立集群模式|Standalone-HA高可用集群模式|Flink On Yarn模式 我这里电脑上有三台安装好的虚拟机分别是node1、node2、node3 Local本地模式： 原理：主节点JobManager（Master）和从节点TaskManager（Slave）在一台机器上模拟 1、Flink程序由JobClient进行提交 2、JobClient将任务提交给JobManager 3、JobManager只负责协调...
flink学习（scala版)--第三章：Flink的部署模式
simple_code
03-24 1088
flink学习（scala版)--第三章：Flink的部署模式
Flink简介及部署模式
ZYN的博客
07-20 1219
Spark 和 Flink 一开始都都希望能够用同一个技术把流处理和批处理统一起来，但他们走了完全不一样的两条路。前者是以批处理的技术为根本，并尝试在批处理之上支持流计算；后者则认为流计算技术是最基本的，在流计算的基础之上支持批处理。SparkFlink流批世界观一切都是由批次组成。离线数据是一个大批次；而实时数据是由一个一个无限的小批次组成的。一切都是由流组成。离线数据是有界限的流；实时数据是一个没有界限的流。计算模型微批处理模型（秒级），在批处理的基础上做流处理。
Python《剑指offer》算法实现-数组中重复的数字
12-25
# Python实现《剑指offer》 部分代码自己添加了一些测试用例, 或者自己添加了一些功能 1. 初级程序员注重算法和数据结构 2. 事先做好准备,对工作有热情 3. 面试过程放松。不要急于写代码,了解清楚所要解决的问题,多和面试官沟通,然后开始做一些整体的设计和规划。不要急于提交,自己测试几个用例避免错误。 4. 良好的代码风格。命名规则,缩进对齐习惯。能够单元测试用例。 5. 项目介绍原则STAR:situation、task、action、result 6. 所需的素质:扎实的基础知识、能写高质量的代码、分析问题是思路清晰、能优化时间和空间效率、学习沟通能力
剑指offer 之 数据流的中位数
01-20
数据流中的中位数题目解题思路Python代码运行结果 题目 如何得到一个数据流中的中位数？如果从数据流中读出奇数个数值，那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值，那么中位数就是所有数值排序之后中间两个数的平均值。我们使用insert()方法读取数据流，使用getMedian()方法获取当前读取数据的中位数。 解题思路 我们的目标是找到数据的中位数，除此之外其它数据的排列顺序无需关注。我们可以考虑用堆来实现：分别构建一个大顶堆和一个小顶堆，大顶堆中保存数据流中最小的n/2个数据，那么它的堆顶元素就是中位数；小顶堆保存数据流中最大的n/2个数据。 如何保证大顶堆和
Flink 集群部署模式.pdf
最新发布
04-26
flink 集群部署模式.pdf
Flink总结.docx
09-13
资源回答了：什么是Flink?Flink 相比传统的 Spark Streaming 有什么区别?Flink恰巧语义一次消费，怎么保证?flink反压机制知道么？
【Flink】Flink的部署模式
克里斯的博客
04-01 1475
一、本地启动 & 集群启动 1、本地启动：最简单的启动方式，其实是不搭建集群，直接本地启动。本地部署非常简单，直接解压安装包就可以使用，不用进行任何配置；一般用来做一些简单的测试。 启动成功后，访问 http://hadoop102:8081，可以对 flink 集群和任务进行监控管理 2、集群启动：如果我们想要扩展成集群，其实启动命令是不变的，主要是需要指定节点之间的主从关系。Flink 是典型的 Master-Slave 架构的分布式数据处理框架，其中 Master 角色对应着JobMa
flink部署三种模式（案例操作）
paulwang040的博客
03-29 1821
flink部署操作案例
概谈Flink基础理论
weixin_44389063的博客
07-20 454
Flink概述 Apache Flink是一个计算框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。 DataStream API，对数据流进行流处理操作，将流式
大数据学习之Flink，了解Flink的多种部署模式
2301_78038072的博客
01-22 1522
应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的任务都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争。在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式。
flink单机模式部署
11-08
FLINK是一个分布式流处理框架，可以在集群上运行。但是，也可以在单机上运行FLINK，这被称为FLINK单机模式部署。下面是FLINK单机模式部署的步骤： 1. 下载FLINK二进制文件并解压缩。 2. 修改FLINK配置文件flink-conf.yaml，以更改REST端口号（默认为8081）。 3. 启动FLINK集群，执行start-cluster.sh脚本。 4. 在FLINK UI上提交任务或通过命令行提交任务。 提交任务的方法有两种：在FLINK UI上提交任务和通过命令行提交任务。在FLINK UI上提交任务非常简单，只需在UI中上传JAR文件并指定任务参数即可。通过命令行提交任务需要使用FLINK的bin/flink脚本，该脚本接受许多参数，例如JAR文件路径，任务参数等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

4935同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值