【Flink】yarn集群模式

已于 2022-08-24 18:56:49 修改
阅读量813 收藏
点赞数
分类专栏： flink 文章标签： flink linux 大数据
于 2022-08-24 18:41:19 首次发布
原文链接：https://www.jianshu.com/p/f63b7e1e6e09
版权

预备知识

Linux - export 命令的生命周期 : 断开会话后 export 的环境变量不生效；支持会话级别的新增、删除和修改环境变量，用作之后的程序使用，仅仅用作此次会话期间；

基于 YARN 模式部署 Flink 服务

3.1 基于 YARN 运行 Flink 服务的原理

在 YARN 上启动 Flink 服务的过程如图3-1 所示（Flink 官方图示）。

图3-1 在 YARN 上启动 Flink 服务的过程

YARN 上启动 Flink 服务的过程.png

3.1.1 Flink-Session 方式

下面将对图3-1 所示内容进行阐述。

  1. 准备资源

    • 发现配置

      想要让 Flink 服务运行与 YARN 之上，首先需要让 Flink 能够发现 YARN 和 HDFS 的相关配置，因此，需要通过 YARN_CONF_DIR、HADOOP_CONF_DIR、HADOOP_CONF_PATH 属性来指定 Hadoop 配置文件所在目录。

      提示：上述 3 个属性，指定其中之一即可，如果全部指定，将按照指定顺序加载。习惯上，常用 HADOOP_CONF_DIR 属性指定。

    • 检查可用物理资源

      检查 YARN 集群中的可用内存和虚拟机CPU内核是否充足，如果充足，则进行下一步。

    • 上传资源。

      然后，启动 Flink 服务时，会根据 Hadoop 配置，将 Flink 服务依赖的 Jar 包和配置文件上传至 HDFS。

  2. 装配Application Master容器

    此时为了开启 YARN 的 Application Master 服务，需要一个准备好的 Container 实例。这个过程会伴随如下步骤。

    • 注册 Container 所需资源

      将上一步上传的配置文件和 jar 包（统称为Container外部资源）注册为即将创建的 Container 内部的资源。这个过程其实是将 外部资源的存放路径（HDFS上）赋值给 Container 内部的变量。

    • 分配 NodeManager 并实例化 Container

      根据 Container 中注册（存储）的外部资源的路径，下载对应配置文件和 Jar 包到 Container 所在的机器节点，然后完成该 Container 的实例化。

    • 启动 Application Master

      该 Container 实例化完成后（在某个NodeManager上），即可启动 Application Master 服务。

  3. 启动 JobManager 服务

    Application Master 服务启动成功后，会启动 Flink 的 JobManager 服务，它将与 ApplicationMaster 服务在同一个 Container 上运行，因此与 ApplicationMaster 通信的客户端（YarnClusterClient）就可以将 JobManager的地址（与ApplicationMaster相同）暴露返回给客户端。从而在后续提交 Job 的过程中，可以知道向哪个 JobManager 提交 Flink Job。

    提示：由于ApplicationMaster 和 JobManager 是随机（某种程度上）在某个 NodeManager 的 Container 上运行的，因此，一个 YARN 集群可以运行多个 ApplicationMaster 和 JobManager 实例。

    至此，已经完成了在 YARN 上开启一个 Flink Session 的过程。

  4. 提交 Flink Job

    在向 JobManager 提交 Flink Job 时，才会分配 TaskManager 所需的 Container（容器），具体步骤如下。

    • 提交任务

      找到某个已经开启的 Flink Session，并找到该 Session 下的 JobManager 通信地址，然后发起提交Flink Job 请求。

    • 分配 Container 开启 TaskManager

      根据 Flink Job 中配置的相关参数，开启指定个数，指定内存占用的 TaskManager，并开始执行任务，执行完毕后，回收该 TaskManager 及 Containner。注意，此时并不会回收 JobManager，因而，在这种方式下，同一个 Flink Session 可以用于执行多个 Flink Job。

    至此，在 YARN 上启动 Flink Session 并提交运行 Flink Job 的过程就结束了。

3.1.2 Flink Single Job 方式

Flink Single Job 方式，也称之为 Flink Per Job 方式。这种方式与 Flink Session 方式大体相同，不同的是Single Job 方式不必提前在 YARN 上开启 JobManager，而是每次提交 Flink Job 的时候，动态创建 JobManager（也在Containner中），然后启动 TaskManager（Container中） 执行任务。然后再Flink Job 结束后，销毁释放本次 Job 所使用的 JobManager 和 TaskManager。可以理解为是一次性的 Flink Session。

了解完上述内容之后，我们将基于两种方式在 YARN 上创建 Flink 服务并提交 Flink Job。

3.2 基于 YARN 模式部署 Flink 服务（Flink-Session 方式）

了解了 Flink on YARN 的基本概念后，开始根据如下步骤部署服务吧。

在本例中，YARN 服务分布情况见表3-1。

  • 表3-1 YARN 服务分布情况

    linux01linux02linux03
    -Resourcemanager-
    NodeManagerNodeManagerNodeManager

    提示：需要开启 YARN 高可用开发者可参考笔者之前的文章自行配置。此时开发者必须确保 YARN 服务已经正常运行，并且开启了 Hadoop 的 JobHistoryServer 服务

  1. 解压 Flink 压缩包

    将Flink压缩包上传至第一台虚拟机的 ~/softwares/installations 目录后，使用如下命令进行解压：

    $ tar -zxf tar -zxf ~/softwares/installations/flink-1.8.1-bin-scala_2.11.tgz -C ~/modules/

  2. 为当前会话设置 Hadoop 环境变量

    当前会话是指通过 ssh 访问 Linux的客户端，比如 xShell 中的某一个窗口，或者 CRT 中的某个窗口。

    想要让 Flink 服务运行与 YARN 之上，首选，需要让 Flink 能够发现 Hadoop 的相关配置，操作命令如下：

    $ pwd
/home/admin/modules/flink-1.8.1
$ export HADOOP_CONF_DIR=/home/admin/modules/hadoop-2.7.2/etc/hadoop
$ export HADOOP_HOME=/home/admin/modules/hadoop-2.7.2
$ export HADOOP_CLASSPATH=`/home/admin/modules/hadoop-2.7.2/bin/hadoop classpath`

    完成上述命令后，在当前会话中可以通过如下命令查看对应的变量是否被正确赋值：

    $ echo $HADOOP_CLASSPATH
输出如下：
/home/admin/modules/hadoop-2.7.2/etc/hadoop:/home/admin/modules/hadoop-2.7.2/share/hadoop/common/lib/*:/home/admin/modules/hadoop-2.7.2/share/hadoop/common/*:/home/admin/modules/hadoop-2.7.2/share/hadoop/hdfs:/home/admin/modules/hadoop-2.7.2/share/hadoop/hdfs/lib/*:/home/admin/modules/hadoop-2.7.2/share/hadoop/hdfs/*:/home/admin/modules/hadoop-2.7.2/share/hadoop/yarn/lib/*:/home/admin/modules/hadoop-2.7.2/share/hadoop/yarn/*:/home/admin/modules/hadoop-2.7.2/share/hadoop/mapreduce/lib/*:/home/admin/modules/hadoop-2.7.2/share/hadoop/mapreduce/*:/home/admin/modules/hadoop-2.7.2/contrib/capacity-scheduler/*.jar

    输出上述内容后，即证明为当前会话成功配置了 Hadoop 环境变量。

    提示：在生产环境中，也多用这种临时导入Hadoop环境变量的方式进行配置，即每次新的 ssh 会话中操作Flink on YARN都会提前 export Hadoop相关的环境变量。开发者也可选择将上述命令封装到某个脚本中，以方便后续操作。

  3. 合理配置依赖包

    • 添加 Flink-Table 依赖包

      在生产环境中，开发者开发的 Flink 应用程序可能会伴随 Table API 的操作（支持以 SQL 的方式进行数据分析），因此，开发者需要将 Flink 安装目录下的 opt 中的 flink-table_2.11-1.8.1.jar 包拷贝到 lib 目录中。操作命令如下所示：

      $ pwd
/home/admin/modules/flink-1.8.1
$ cp -a opt/flink-table_2.11-1.8.1.jar lib/

    • 添加 Hadoop 依赖包

      将之前下载好的 flink-shaded-hadoop-2-uber-2.7.5-7.0.jar 包移动至 Flink 安装目录的 lib 目录中，使 Flink 能够支持对 Hadoop 的操作。操作命令如下所示：

      $ pwd
/home/admin/modules/flink-1.8.1
$ cp -a ~/softwares/installations/flink-shaded-hadoop-2-uber-2.7.5-7.0.jar ./lib/

    以上操作完成后，即可看到 lib 目录下的内容如下所示：

    $ ll lib/
flink-dist_2.11-1.8.1.jar
flink-shaded-hadoop-2-uber-2.7.5-7.0.jar
flink-table_2.11-1.8.1.jar
log4j-1.2.17.jar
slf4j-log4j12-1.7.15.jar

提示：Flink on YARN模式中，不需要每台节点都安装 Flink，只需要在操作的节点上，安装 Flink 即可。

  1. 在 YARN 上启动 Flink-Session

    在 YARN 上运行一个 Flink-Session，操作命令如下：

    ${FLINK_HOME}/bin/yarn-session.sh […]

    例如：

    $ pwd
/home/admin/modules/flink-1.8.1
$ bin/yarn-session.sh -n 2 -jm 512m -tm 1024m

    上述命令执行完毕后，即可在 YARN 的 8088 端口（Resourcemanager 后台管理页面）看到有一个 YARN 任务处于正在运行的状态，如图3-2 所示。

    图3-2 Resourcemanager 后台管理页面                        Resourcemanager 后台管理页面.png

此时，单击 ApplicationMaser 按钮，即可进入 Flink 的后台管理页面，如图3-3 所示。

        

图3-3 Flink 后台管理页面

  • Flink 后台管理页面.png

提示：由于现在没有运行任何 Flink Job，因此，该Flink-Session 中还没有分配 Container 来运行 TaskManager。因此，在上图中看到的 TaskManager 数量为 0。

如果此时需要关闭该 Flink-Session，在控制台输入 stop 即可。

但是，如果在启动Flink-Session时，通过添加 -d 参数，开启了 detached，则可以通过 YARN 的 kill 命令，来关闭该 Flink-Session，命令如下：

$ {HADOOP_HOME}/bin/yarn application -kill <application_id>

  1. 提交 Flink Job 到指定的 Flink-Session中

    首先，查看刚才启动 Flink-Session 时，控制台返回的 JobManager 通信地址为 linux01:42535（或记录当前Flink-Session 的 applicaitonID为 application_1564330446958_0001），如图3-4 所示。图3-4 Flink-Session 中 JobManager 的通信地址              Flink-Session地址.png

然后，开启一个新的 ssh 会话，重新导入 Hadoop 环境变量，命令如下：

$ export HADOOP_CONF_DIR=/home/admin/modules/hadoop-2.7.2/etc/hadoop
$ export HADOOP_HOME=/home/admin/modules/hadoop-2.7.2
$ export HADOOP_CLASSPATH=`~/modules/hadoop-2.7.2/bin/hadoop classpath`

接着，提交 Flink Job 到指定的 Flink-Session上运行，命令如下（-m 参数的方式）：

$ pwd
/home/admin/modules/flink-1.8.1
$ bin/flink run \
-m linux01:42535 \
-p 1 \
./examples/batch/WordCount.jar

或者，使用命令如下（-yid 参数的方式）：

$ pwd
/home/admin/modules/flink-1.8.1
$ bin/flink run \
-yid application_1564330446958_0001 \
-p 1 \
./examples/batch/WordCount.jar

提示：如果在提交 Flink Job 到 Flink-Session 的过程中，没有通过 -m 或 -yid 参数指定目标 Session，则默认将Flink Job 提交到最后一个开启的 Flink-Session 上。

上述两条命令分别运行测试后，即可在 Job Manager的后台管理页面看到如图3-5 所示内容

图3-5 Flink Job 在 Session 上运行成功

Flink Job 运行成功.png

3.3 基于 YARN 模式部署 Flink 服务（Flink-Single[Per] Job 方式）

  1. 前置准备

    这部分的准备工作与3.2 小节中的 1~3 的操作内容一致，不再赘述。

  2. 在 YARN 上启动并提交 Flink-Single Job

    前文提到过，Single Job这种方式为一次性执行，即，当前 Flink Job 执行完毕，立即释放销毁 JobManager 和 TaskManager。因此，它的操作过程将非常简单。这种模式一般多用于执行长期运行的流式处理作业（Flink Streaming Job）。

    在这种方式下，开启服务并提交 Flink Job 的命令如下：

    $ export HADOOP_CONF_DIR=/home/admin/modules/hadoop-2.7.2/etc/hadoop
$ export HADOOP_HOME=/home/admin/modules/hadoop-2.7.2
$ export HADOOP_CLASSPATH=`~/modules/hadoop-2.7.2/bin/hadoop classpath`
$ bin/flink run \
-m yarn-cluster \
-p 10 \
-yn 5 \
./examples/batch/WordCount.jar

    提示：Single Job 这种方式下，-m 参数的固定值为 yarn-cluster，-p 参数为任务并行度，-yn 为开启的TaskManager 个数。

    运行后，查看 Job 状态的方式与 3.2 小节相同。

3.4 相关重要参数说明

3.4.1 开启 Flink-Session 的重要参数

重要参数见表3-2 。

  • 表3-2 开启 Flink-Session 的重要参数

    参数名含义
    -d开启detached模式。
    -jmJobManager的内存，单位：MB。
    -nm该Flink Cluster在YARN上对应的application名称。
    -s每一个TaskManager上的slots数量。
    -tm每一个TaskManager的内存，单位：MB。
    -nm当前Application的名称。

3.4.2 向 Flink-Session 提交 Flink Job 的重要参数

重要参数见表3-3。

  • 表3-3 向 Flink-Session 提交 Flink Job 的重要参数

    参数名含义
    -mJobManager地址。-m 与 -yid 二选一。
    -yidYARN 的 ApplicationId。-m 与 -yid 二选一。

    关于提交 Flink Job 的其余重要参数见 3.4.3 小结。

3.4.3 提交 Single Job 的重要参数

重要参数见表3-4。

  • 表3-4 提交 Single Job 的重要参数

    参数名含义
    -m固定为yarn-cluster
    -yjFlink jar的所在目录。一般为Flink根目录下的lib目录。
    -yjm指定JobManager所在的Container内存。单位：MB。
    -yn为TaskManager数量。
    -ynmYARN中application的名称。
    -ys每一个TaskManager中slots的数量。
    -ytm每一个TaskManager Container的内存，单位MB。
    -c指定Job对应的jar包中主函数所在类名。

转载

作者：Z尽际
链接：https://www.jianshu.com/p/f63b7e1e6e09
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

yann.bai
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink on YARN 流程之Flink Cluster 启动流程是什么
九师兄
07-30 173
应用状态存储完成后，应用状态变为 SUBMITTED；如果提交成功，应用状态变为 ACCEPTED；ResourceScheduler 会根据优先级（队列 / 应用 / 请求每个维度都有优 先级配置）从根队列开始层层递进，先后选择当前优先级最高的子队列、应 用直至具体某个请求，然后结合集群资源分布等情况作出分配决策，AM Container 分配成功后，应用实例状态变为 ALLOCATED_SAVING，并触 发应用实例状态存储流程，存储成功后应用实例状态变为 ALLOCATED；
flink集群搭建包.zip
06-14
启动Flink集群，可以使用bin目录下的`start-cluster.sh`脚本启动standalone模式，或者`start-yarn-session.sh`启动YARN模式。 对于开发者而言，理解Flink的数据模型（DataStream和DataSet）和API是非常关键的。...
Flink Cluster On YARN部署
shirukai
09-23 2070
Flink Cluster On YARN部署 Flink版本：1.8.2 Hadoop: 3.0.3 参考文章： 文中关于Per-Job、Session模式的描述摘自《Deploy Apache Flink® Natively on YARN/Kubernetes》 https://ververica.cn/developers/deploy-apache-flink-natively-on-yarn-kubernetes/ Flink在YARN上部署有两种模式，一种是Session模式，另一种是Pe
Flink YARN集群管理架构及核心原理
最新发布
huxian1234的专栏
05-29 638
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专家称号。
Flink集群之Flink Yarn Cluster部署
渐宽阁读书小弟
03-31 1555
文章目录前言准备环境 前言 flink应用提交到Yarn上目前支持两种模式： （1）Yarn Session Model：Flink会向hadoop Yarn 申请足够多的资源，并在Yarn上启动长时间运行的Flink Session集群，用户可以通过RestAPI或Web页面将Flink任务提交到Flink Session集群上运行。 （2）Single Job Model：每个Flink任务单...
flink的两种yarn模式
First_____的博客
11-26 2299
         Flink on Yarn模式部署始末：Flink的Standalone和on Yarn模式都属于集群运行模式，但是有很大的不同，在实际环境中，使用Flink on Yarn模式者居多。          那么使用on yarn模式到底好在哪呢？     &...
Flink03: 集群安装部署
anglemanyi的博客
02-19 986
Flink支持多种安装部署方式这些安装方式我们主要讲一下standalone和on yarn。如果是一个独立环境的话，可能会用到standalone集群模式。在生产环境下一般还是用on yarn 这种模式比较多，因为这样可以综合利用集群资源。和我们之前讲的spark on yarn是一样的效果，这个时候我们的Hadoop集群上面既可以运行MapReduce任务，Spark任务，还可以运行Flink任务，一举三得。
Flink学习笔记之提交任务
weixin_45524021的博客
01-09 1196
提交任务的形式有多种 一、Web页面提交方式 在集群启动之后, 在localhost:8081 可以很清楚的查看到 集群的运行状态, TaskManager、JobManager等等。 打包处理的时候还会涉及并行度的问题,我们可以根据情况自行设置。并行度问题：env 可以设置环境的并行度,每一步操作都可以设置 setParallelism 并行度。并行度优先级: 代码 -》全局 -》提交JobWeb-》集群配置文件默认并行度。 show plan 查看执行的 ...
flink on yarn 模式下，flink 1.12.5版本运行所需完整lib包
08-30
- **YARN 模式**：这是 Flink 集群部署的一种方式，它允许 Flink 作业利用 Hadoop YARN 的资源管理和调度功能。在这种模式下，Flink JobManager 和 TaskManager 作为 YARN 应用程序的容器运行。 2. **Flink 1.12.5...
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常...支持Flink yarnPerJob、Standalone 、yarnSession模式下的任务提交。 支持Spark任务以Yarn Cluster模式提交到YARN，支持自动上传用户Jar包，依赖的Spark Jars需要提前上传到H
yarn-flink-examples
05-07
yarn-flink-例子一些关于flink的例子注意：要执行它们，可能需要进行一些更改。如何建造在相应的目录中，执行mvn package如何执行在相应目录中，执行flink run -m yarn-cluster -yn 1 -yjm 1024 -ytm 1024 target/...
搭建Flink standalone HA 模式所需的jar包
04-13
首先，Flink的standalone模式是Flink分布式运行的一种方式，它不需要借助于其他分布式资源管理系统（如YARN或Kubernetes），而是自包含一个JobManager和TaskManager的集群。而HA模式则在此基础上增加了容错机制，...
Flink大数据集群资源监控项目实战课程（基于flink1.13版本）
05-13
本课程理论与实战相结合，最终全流程实现对YARN集群资源的画像。学完本课程，零基础的学员能快速上手Flink进行项目开发，有大数据基础的学员也能快速掌握Flink核心技术并积累Flink实际项目经验。 课程特色 1.课程...
flink-1.13.1 cdh6.3.2
07-24
对于Flink的部署，CDH提供了YARN（Yet Another Resource Negotiator）作为资源管理器，确保Flink作业能在集群中高效地调度和执行。 在开始部署之前，确保你的CDH集群已经安装并配置完毕，所有必要的服务如YARN、...
flink1.14.6版本 lib目录依赖jar包
05-25
flink-connector-jdbc_2.12-1.14.6.jar、flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.2.1.jar、mysql-connector-java-5.1.27-bin.jar、flink-dist_2.12-1.14.6.jar、flink-faker-...
flink1.13.2集成到cdh集群安装包
08-18
包含flink1.13.2针对cdh6.2-6.4版本的编译包 parcel,parcel.sha manifect.json FLINK_ON_YARN.下载后可直接添加到cdh集群中
Flink部署之Yarn
Joker_Jiang3的博客
11-25 5163
Flink部署之Yarn
Flink最全的集群部署攻略（推荐yarn实现企业级部署）
热门推荐
程序员小王的博客
04-15 1万+
flink单机部署模式，不管是学习还是开发尽量不使用，flink自带集群部署，资源管理由flink集群管理，使用zookeeper监听事件，实现独立高可用集群，防止集群的单点故障，推荐开发环境测试使用，flink on yarn: 把资源管理交给yarn实现，计算机资源统一由Haoop YARN管理，推荐生产环境使用。
Flink集群安装和部署之Flink On Yarn
chbxw
06-21 7106
文章目录一、Session-Cluster模式（yarn-session）二、Pre-Job-Cluster模式（yarn-cluster）   Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Had
FLink yarn模式
06-03
Flink YARN模式是在YARN集群上运行Flink任务的一种模式。使用YARN模式可以更好地利用集群资源，提高任务的并发度和可扩展性。Flink YARN模式的部署可以分为以下几个步骤： 1. 准备YARN环境：首先需要在YARN集群中准备好Java环境和Flink的安装包。可以使用Hadoop的命令行工具hdfs dfs来上传Flink安装包到HDFS中。 2. 配置Flink：编辑Flink的配置文件，设置Flink集群的参数，如TaskManager数量、内存等。同时需要配置Flink的YARN相关参数，如yarn.application.name、yarn.queue、yarn.container.memory等。 3. 提交Flink任务：使用Flink提供的yarn-session.sh脚本来启动Flink YARN Session，将Flink任务提交到YARN集群中运行。启动命令如下： ``` ./bin/yarn-session.sh -n 3 -jm 1024m -tm 1024m ``` 其中-n参数指定TaskManager的数量，-jm和-tm参数分别指定JobManager和TaskManager的内存大小。 4. 监控Flink任务：使用Flink Web Dashboard或YARN的ResourceManager Web UI来监控Flink任务的执行情况。可以查看任务的运行状态、日志信息、资源使用情况等。 需要注意的是，在Flink YARN模式中，Flink任务的运行依赖于YARN集群的资源管理，因此需要根据集群的实际情况来配置Flink的YARN参数。同时，由于YARN集群的资源是动态变化的，因此在任务运行过程中可能需要调整Flink集群的配置和参数，以更好地适应集群资源的变化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值