Flink在YARN上支持的三种部署方式及使用方式

已于 2022-07-17 18:35:46 修改
阅读量5.6k 收藏 7
点赞数 1
分类专栏： flink 文章标签： hadoop
于 2021-02-10 14:40:42 首次发布
原文链接：https://blog.csdn.net/penriver/article/details/120219348?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-2-120219348-blog-111874245.pc_relevant_multi_platform_whitelistv1&depth_1-utm_source=distri
版权

原：Flink在YARN上支持的三种部署方式及使用方式_java编程艺术的博客-CSDN博客_flink yarn部署

1 前提


安装yarn集群并启动

配置HADOOP_CLASSPATH环境变量

export HADOOP_CLASSPATH=`hadoop classpath`


注意：默认情况下，所有必需的Hadoop配置文件都是通过HADOOP_CLASSPATH环境变量从类路径加载的。

2 Flink在YARN上支持的部署方式


对于生产使用，建议Per-job or Application Mode部署Flink应用程序，因为这些模式为应用程序提供了更好的隔离。
详见参见： flink on yarn

2.1 Application Mode


Application Mode将在YARN上启动一个Flink集群，其中应用程序jar的main()方法将在YARN中的JobManager上执行。

应用程序一完成，集群就会关闭。

可以通过yarn application -kill 或取消Flink作业手动停止集群。

#提交任务
./bin/flink run-application -t yarn-application ./examples/batch/WordCount.jar --input hdfs://pci01:8020/tmp/README.txt

./bin/flink run-application -t yarn-application ./examples/streaming/TopSpeedWindowing.jar -d

#列出集群上正在运行的作业,列出jobId、jobName
./bin/flink list -t yarn-application -Dyarn.application.id=application_1626944535001_1008

#取消任务： jobId
#请注意，取消应用程序集群上的作业将停止该集群。
./bin/flink cancel -t yarn-application -Dyarn.application.id=application_1626944535001_1008 825e0311eef66f586d0977a7c20a432d



为了释放Application Mode的全部潜力，请考虑与yarn.provided.lib.dirs配置项一起使用

将flink的依赖jar、应用程序jar上传到集群中所有节点都可以访问的位置。

下述操作将使作业提交变得更加轻量级，因为所需的Flink jar和应用程序jar将由指定的远程位置提取，而不是由客户机发送到集群。

#将flink lib及应用的jar上传到hdfs
hdfs dfs -mkdir -p hdfs://pci01:8020/jars/flink
hdfs dfs -copyFromLocal lib/*.jar hdfs://pci01:8020/jars/flink/
 
hdfs dfs -mkdir -p hdfs://pci01:8020/jars/apps
hdfs dfs -copyFromLocal ./examples/streaming/TopSpeedWindowing.jar hdfs://pci01:8020/jars/apps/
hdfs dfs -copyFromLocal ./examples/batch/WordCount.jar hdfs://pci01:8020/jars/apps/
 
#运行TopSpeedWindowing
./bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://pci01:8020/jars/flink/" hdfs://pci01:8020/jars/apps/TopSpeedWindowing.jar

#运行wordcount示例
./bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://pci01:8020/jars/flink/" hdfs://pci01:8020/jars/apps/WordCount.jar --input hdfs://pci01:8020/tmp/README.txt --output hdfs://pci01:8020/tmp/wordcount-result10.txt
hdfs dfs -cat hdfs://pci01:8020/tmp/wordcount-result10.tx



2.2 Per-Job Cluster Mode


Per-Job Cluster Mode将在YARN上启动一个Flink集群，然后在本地运行提供的应用程序jar，最后将JobGraph提交给YARN上的JobManager。如果传递–detached参数，客户端将在提交被接受后停止。

一个任务会对应一个Job，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享Dispatcher和ResourceManager，按需接受资源申请；适合规模大长时间运行的作业。

一旦作业停止，Flink集群就会停止。

#提交任务
./bin/flink run -t yarn-per-job --detached ./examples/streaming/TopSpeedWindowing.jar

#列出集群上正在运行的作业, 列出jobId、jobName
./bin/flink list -t yarn-per-job -Dyarn.application.id=application_1626944535001_1015

#取消任务： jobId
#请注意，取消应用程序集群上的作业将停止该集群。
./bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_1626944535001_1015 3386aec1fb6fba288c13a17b5cb6730b



2.3 Session Mode


Session-Cluster模式需要先启动集群，然后再提交作业，接着会向yarn申请一块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交。所有作业共享Dispatcher和ResourceManager；共享资源；适合规模小执行时间短的作业。

Session-Cluster的资源在启动集群时就定义完成，后续所有作业的提交都共享该资源，作业可能会互相影响，因此比较适合小规模短时间运行的作业

Session Mode将在/tmp/.yarn-properties-目录下创建一个隐藏的YARN properties文件，它将在提交作业时用于集群发现，并在命令行界面中显示，有如下两种操作模式：

attached mode (default): yarn-session.sh 客户端将Flink集群提交给YARN，但是客户端继续运行，跟踪集群的状态。如果集群失败，客户端将显示错误。如果客户端被终止，它也会发出关闭集群的信号。

detached mode (-d or --detached): 将Flink集群提交给YARN，客户端返回。需要通过以下命令停止

#优雅停止
echo "stop" | ./bin/yarn-session.sh -id application_1626944535001_0984
#停止
yarn application -kill application_1626944535001_0984



除了通过conf/flink-conf.yaml文件传递配置，也可以使用-Dkey=value参数在提交时将任何配置传递./bin/yarn-session.sh客户端

2.3.1 在YARN上启动一个长期的Flink集群


-s参数表示每个Task Manager上可用的处理槽（processing slot）数量。建议把槽数量设置成每个机器处理器的个数。 一旦会话被启动，就可以使用./bin/flink工具提交任务到集群上。

cd flink/flink-1.13.2
./bin/yarn-session.sh -jm 2048 -tm 4096 -s 16 -d

#优雅停止
echo "stop" | ./bin/yarn-session.sh -id application_1626944535001_0984
#停止
yarn application -kill application_1626944535001_0984

# 查看可以获得的命令
echo "help" | ./bin/yarn-session.sh -id application_1626944535001_0984
 
# 查看运行的application
yarn top



2.3.1.1 查看启动的flink集群
在 Yarn Cluster页面 http://172.25..:8088/cluster/apps/RUNNING，查看 name为Flink session cluster的application, 点击Tracking UI中的ApplicationMaster链接，跳转到Flink dashboard页面

在yarn-session.sh成功运行后，日志显示如下：
在日志的末尾显示了 flink dashboard地址 及 applicationId

 

 
2.3.1.2 查看配置信息

more /tmp/.yarn-properties-root


显示内容如下：

#Generated YARN properties file
#Fri Sep 10 11:43:19 CST 2021
dynamicPropertiesString=
applicationID=application_1626944535001_1021



2.3.2 yarn-session.sh脚本参数


略

 
2.3.3 提交任务

./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

./bin/flink run ./examples/batch/WordCount.jar --input hdfs://pci01:8020/tmp/README.txt --output hdfs://pci01:8020/tmp/wordcount-result20.txt

./bin/flink run -t yarn-session  \
-Dyarn.application.id=application_1626944535001_1021  \
./examples/batch/WordCount.jar --input hdfs://pci01:8020/tmp/README.txt  \
--output hdfs://pci01:8020/tmp/wordcount-result21.txt



3 flink on yarn配置


flink on yarn配置

以下配置参数是由Flink on YARN管理的，因为它们可能会在运行时被框架覆盖:

  • jobmanager.rpc.address: 通过Flink on YARN上动态设置为JobManager容器的地址
  • io.tmp.dirs：如果没有设置，Flink将设置YARN定义的临时目录
  • high-availability.cluster-id : 自动生成的ID，用于区分HA服务中的多个集群

如果需要将额外的Hadoop配置文件传递给Flink，可以通过HADOOP_CONF_DIR环境变量来实现，该变量接受一个包含Hadoop配置文件的目录名。默认情况下，所有必需的Hadoop配置文件都是通过HADOOP_CLASSPATH环境变量从类路径加载的。

4 Resource Allocation Behavior 资源配置行为


如果一个运行在YARN上的JobManager不能使用现有资源运行所有提交的作业，那么它将请求额外的taskManager。特别是在Session Mode下运行时，如果需要，JobManager会在提交额外的作业时分配额外的taskManager。未使用的taskManager在超时后再次释放。

YARN实现将尊重JobManager和TaskManager进程的内存配置。默认情况下，报告的VCores数量等于每个TaskManager配置的槽位数量。yarn.containers.vcores允许使用自定义值覆盖vcores的数量。为了让这个参数生效，您应该在YARN集群中启用CPU scheduling 。

失败的容器(包括JobManager)将被YARN替换。JobManager容器重启的最大次数是通过 yarn.application-attempts[默认是1]配置的。当所有的尝试都耗尽时，YARN应用程序将失败。

5 User jars & Classpath


默认情况下，Flink在运行单个作业时将用户jar包含到系统类路径【system classpath】中。这种行为可以通过yarn.per-job-cluster.include-user-jar 参数进行控制。

当将此设置为DISABLED时，表示用户jar被排除在系统类路径之外。

用户jar在类路径中的位置可以通过将参数设置为以下参数之一来控制:

  • ORDER: (default) Adds the jar to the system classpath based on the lexicographic order.
  • FIRST: Adds the jar to the beginning of the system classpath.
  • LAST: Adds the jar to the end of the system classpath.


6 三种模式的区别


详见 deployment
主要区别点如下：

  • 集群生命周期和资源隔离保证
  • 应用程序的main()方法是在client上执行还是在cluster上执行。
  • 在session mode中，如果其中一个作业行为不当或关闭了一个TaskManager，那么在该TaskManager上运行的所有作业都将受到该失败的影响

应用程序的main方法包括的过程如下：

  • 在本地下载应用程序的依赖项，
  • 执行main()来提取Flink的运行时可以理解的应用程序的表示(即JobGraph)，
  • 并将依赖项和JobGraph发送到集群

如果main在client执行，则client会成为一个沉重的资源消耗者，因为它可能需要大量的网络带宽来下载依赖项并将二进制文件发送到集群，并需要CPU周期来执行main()。当client 服务器在用户之间共享时，这个问题会更加明显。


Application Mode 与 Per-Job Mode的区别

  • Application Mode的main代码在cluster中执行，Per-Job Mode在client中执行
  • 与Per-Job模式相比，Application模式允许提交由多个作业Job组成的应用程序。
     

javastart
关注
专栏目录
Flink on yarn模式部署
litlit023的专栏
02-02 2913
目录 1. 基于docker部署cdh 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 2.2 jdk7造成的错误 3. 启动flink on yarn模式 1. 基于docker部署cdh 基于Docker搭建CDH单机单节点集群_litlit023的专栏-CSDN博客 2. 遇到的异常 2.1 flink下缺少hadoop相关依赖 基于docker 部署cdn后，启动flink on yarn模式，报了以下错误 ./bin/yarn-session.sh -n
Flink On Yarn模式配置
热门推荐
weixin_44378305的博客
10-18 1万+
Flink On Yarn模式配置Flink On Yarn模式配置引言一、安装JDK二、安装Hadoop三、安装Zookeeper四、安装Flink Flink On Yarn模式配置 引言 ​ Flink依靠Yarn来实现高可用，由于Yarn依赖于Hadoop，而Hadoop又依赖于Jdk。 ​ 准备三台机器 ​ 1.1.1.1 node1 ​ 1.1.1.2 node2 ​ 1.1.1.3 node3 一、安装JDK 1. 下载解压 tar -xvf jdk-8u271-linux-x64.tar
基于 YARN 模式部署 Flink 服务
小特工的专栏
01-28 2308
Flink-Session 方式 下面将对图1-1 所示内容进行阐述。 准备资源 发现配置 想要让 Flink 服务运行与 YARN 之上，首先需要让 Flink 能够发现 YARN 和 HDFS 的相关配置，因此，需要通过 YARN_CONF_DIR、HADOOP_CONF_DIR、HADOOP_CONF_PATH 属性来指定 Hadoop 配置文件所在目录。 提示：上述 3 个属性，指定其中之一即可，如果全部指定，将按照指定顺序加载。习惯上，常用 HADOOP_CONF_D
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 3019
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
flink on yarn部署
qq_27710549的博客
06-14 2225
flink on yarn部署flink on yarn需要的组件与版本如下Zookeeper 3.4.9 用于做Flink的JobManager的HA服务hadoop 2.7.2 搭建HDFS和Yarnflink 1.3.2 或者 1.4.1版本（scala 2.11）Zookeeper, HDFS 和 Yarn 的组件的安装可以参照网上的教程。在zookeeper，HDFS 和Yarn的组件的...
hdfs通过接口退出安全模式_flink的yarn模式部署
weixin_39591455的博客
11-26 371
1、yarn cluster 模式部署介绍mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图：2、flink session HA模式需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，...
Flink on Yarn模式部署
陈小哥cw
06-17 7987
独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所以接下来介绍的是 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的Resour
Flink on yarn应用部署
阿尼古
02-20 3999
我就是单纯的保留一份，晚点自己好看，不是原创，切勿上纲上线。 红色部分标出来，就是有人觉得不合适，不用分发，至于用不用，我也不是很清楚，这个需要搞的时候，搞一下不就晓得了。 随着物联网lOT的到来，万物连接一切，使得各大企业的数据也会井喷的增加。传统的大数据处理架构已经无法满足当前企业的发展，这个时候流式架构的出现，让企业的数据能够在较短的时间内处理快速响应迭代，满足企业各种场景下的不同需求。...
Flink-Yarn安装及使用
chenlei0520的博客
02-08 1229
在YARN平台上Flink是如何集成部署的
flink任务yarn模式部署
机器之心
09-11 89
为了提供更好的资源隔离保证，单个作业模式使用可用的资源提供程序框架（例如YARN）为每个提交的作业启动一个独立的集群。yarn的高可用是启动一个JobManager，当这个Manager挂了之后，会利用yarn的重试次数来再次启动，yarn的重试机制是 JobManager的重启次数上限.每个应用程序创建一个集群可以被视为创建一个仅在特定应用程序的作业之间共享的会话集群，并在应用程序完成时关闭。允许提交包含多个作业的应用程序。作业执行的顺序不受部署模式的影响，而是受用于启动作业的调用的影响。
大数据Flink（五十八）：Flink on Yarn的三种部署方式介绍
Lansonli（蓝深李）的博客
08-06 1431
这种模式会预先在yarn或者或者k8s上启动一个flink集群，然后将任务提交到这个集群上，这种模式，集群中的任务使用相同的资源，如果某一个任务出现了问题导致整个集群挂掉，那就得重启集群中的所有任务，这样就会给集群造成很大的负面影响。通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行 main() 方法来获取 flink 运行时所需的依赖项，并生成 JobGraph，：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。
Flink on yarn的部署
weixin_44835472的博客
12-17 497
1.环境变量配置 若要在Yarn上运行Flink应用，必须事先告诉Flink和yarn有关的配置。需要怎么告诉Flink呢？ 提交Flink任务的client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR环境变量，通过这个环境变量来读取YARN和HDFS的配置信息，否则提交任务会失败。 2.提交Flink任务到yarn的两种方式 同时启动Yarn applicatio...
高可用Flink on YARN集群快速配置
云祁QI
11-09 757
我们长久以来一直使用Spark作为离线和近实时计算框架，几乎承担了主要业务中所有的计算任务。最近Flink逐渐兴起，我们通过查阅资料和参加Meetup，了解到Flink在实时计算方面确实比Spark有优势。我们正准备涉足实时业务，实时数仓、实时推荐这些东西总是要有的，快速上手Flink势在必行。 Flink的官方文档比较详尽，并且设计理念与Spark多有相通，理解成本较低。Flink有多种集群部署方式（Local/Standalone/YARN/K8s/Mesos等等），考虑到已经有现成的YARN和Zoo
flink on yarn 部署方案
sunxunyong的博客
06-12 1072
FLINK ON YARN 3种部署方式：在生产中建议使用 Per-job 或 Application Mode 模式部署 Flink 应用程序，这些模式为应用程序提供了更好的隔离.一个任务启动一个Flink集群, 各个 Flink 集群之间独立运行, 互不影响, 而且每个集群可以单独进行配置。1、Application Mode （应用模式）
Flink On Yarn应用部署
u011563666的博客
07-16 593
以 Yarn 模式部署 Flink 任务时，要求 Flink 是有 Hadoop 支持的版本， Hadoop环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务 Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。 1.Session-cluster模式 该模式会先在yarn集群中启动一个Flink集群，然后再提交作业，相当于所有Flink应用共享一个集群。具体使用步骤如下： 1）启动yarn-session ./y
Flink部署之Yarn
Joker_Jiang3的博客
11-25 5323
Flink部署之Yarn
Flink：yarn模式部署
程序员无羡的博客
04-11 732
Flink：yarn模式部署
flink on yarn如何部署，支持高可用吗
05-19
Flink on Yarn 是 Apache Flink 的一种部署方式，可以在 Hadoop Yarn 上运行 Flink 应用程序。部署 Flink on Yarn 的主要步骤如下： 1. 安装 Hadoop 和 Yarn：在部署 Flink on Yarn 之前，需要先安装 Hadoop 和 Yarn。 2. 下载 Flink：从 Flink 官网下载 Flink 二进制文件。 3. 配置 Flink：编辑 Flink 的配置文件 flink-conf.yaml，配置 Flink 的相关参数，如 TaskManager 的数量、内存大小等。 4. 启动 Yarn：在启动 Flink on Yarn 之前，需要先启动 Yarn。 5. 提交 Flink 应用程序：使用 Flink 提供的命令行工具 flink run，提交 Flink 应用程序到 Yarn 上运行。 6. 监控 Flink 应用程序：可以使用 Flink 提供的 WebUI 或者 Yarn 提供的 WebUI 监控 Flink 应用程序的运行状态。 关于高可用性，Flink on Yarn 支持 Flink 的高可用性机制，可以通过配置 Flink 的 HA 参数来实现。在 Flink on Yarn 中，Flink 的 JobManager 运行在 Yarn 的一个容器中，当容器失败时，Yarn 会自动重新启动 JobManager。同时，Flink 也支持将 JobManager 的状态保存到 ZooKeeper 中，以便在 JobManager 失败时能够恢复其状态。因此，Flink on Yarn 支持高可用性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值