Flink Cluster On YARN部署

最新推荐文章于 2024-04-25 20:18:07 发布
最新推荐文章于 2024-04-25 20:18:07 发布
阅读量2k 收藏 2
点赞数
分类专栏： Flink 文章标签： flink yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shirukai/article/details/108755991
版权

Flink Cluster On YARN部署

Flink版本：1.8.2

Hadoop: 3.0.3

参考文章：

文中关于Per-Job、Session模式的描述摘自《Deploy Apache Flink® Natively on YARN/Kubernetes》 https://ververica.cn/developers/deploy-apache-flink-natively-on-yarn-kubernetes/

Flink在YARN上部署有两种模式，一种是Session模式，另一种是Per-Job模式。

Yarn 模式运行 Flink job 的好处有：

  • 资源按需使用，提高集群的资源利用率

  • 任务有优先级，根据优先级运行作业

  • 基于 Yarn 调度系统，能够自动化地处理各个角色的 Failover

    ○ JobManager 进程和 TaskManager 进程都由 Yarn NodeManager 监控

    ○ 如果 JobManager 进程异常退出，则 Yarn ResourceManager 会重新调度 JobManager 到其他机器

    ○ 如果 TaskManager 进程异常退出，JobManager 会收到消息并重新向 Yarn ResourceManager 申请资源，重新启动 TaskManager

1 准备环境

为了方便演示在YARN上进行Session模式和Per-Job模式部署，我们需要进行环境准备。

以下环境是前提条件：

  • Hadoop版本在2.2以上
  • 安装有HDFS和YARN服务

  1. 下载Flink

    官网下载页面：https://flink.apache.org/downloads.html 这里我们下载flink版本为1.8.2，scala版本为2.12的安装包。

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.8.2/flink-1.8.2-bin-scala_2.12.tgz

  2. 解压

    tar -zxvf flink-1.8.2-bin-scala_2.12.tgz

    目录如下图所示：

  3. 查看版本

    ./bin/flink -v
Version: 1.8.2, Commit ID: 6322618

提交客户端常用命令参数列表，使用./bin/flink run -h查看

参数说明
-c,–class <classname>带有程序入口点的类（“ main”方法或“ getPlan()”方法。仅当JAR文件未在其manifest中指定该类时才需要。
-C,–classpath <url>将URL添加到群集中所有节点上的每个用户代码类加载器。路径必须指定协议（例如file://），并且可以在所有节点上访问（例如，通过NFS共享）。可以多次使用此选项来指定多个URL。
-d,–detached以detached模式运行Job
-n,–allowNonRestoredState允许跳过无法还原的保存点状态。如果在触发保存点时从程序中删除了一部算子，则需要允许此操作。
-p,–parallelism <parallelism>运行程序的并行度。可选，用于覆盖配置中指定的默认值。
-q,–sysoutLogging禁止将日志输出为标准输出
-s,–fromSavepoint <savepointPath>指定savepoint路径，从改savepoint进行恢复
-sae,–shutdownOnAttachedExit如果作业以attached模式提交，在CLI突然终止时（例如，响应用户中断，例如键入Ctrl + C），尽最大努力关闭集群。

YARN Cluster相关的参数

参数说明
-d,–detached以detached模式运行Job
-m,–jobmanager<arg>要连接的JobManager(master)的地址，使用此参数连接到与配置中指定的JobManager不同的JobManager。
-sae,–shutdownOnAttachedExit如果作业以attached模式提交，在CLI突然终止时（例如，响应用户中断，例如键入Ctrl + C），尽最大努力关闭集群。
-yD <property=value>配置参数，例如-yDhostname=localhost
-yd,–yarndetached以detached模式运行作业（不建议使用；使用非特定于YARN的选项）
-yh,–yarnhelp帮助说明
-yid,–yarnapplicationId <arg>访问正在运行的YARN回话，指定YARN的application id
-yj,–yarnjar <arg>Flink jar文件的路径
-yjm,–yarnjobManagerMemory <arg>带可选单元的JobManager容器的内存（默认值：MB）
-yn,–yarncontainer <arg>要分配的YARN容器数（=任务管理器数）
-ynl,–yarnnodeLabel <arg>为YARN应用程序指定YARN节点标签
-ynm,–yarnname <arg>为YARN上的应用程序设置自定义名称
-yq,–yarnquery显示可用的YARN资源（内存，核心）
-yqu,–yarnqueue <arg>指定YARN队列
-ys,–yarnslots <arg>每个TaskManager的slot数量
-yst,–yarnstreaming以streaming模式启动flink
-yt,–yarnship <arg>将文件发送到指定目录（用于传输）
-ytm,–yarntaskManagerMemory <arg>每个TaskManager容器的内存，带有可选单位(默认值：MB)
-yz,–yarnzookeeperNamespace <arg>为高可用性模式创建Zookeeper子路径的命名空间
-z,–zookeeperNamespace <arg>为高可用性模式创建Zookeeper子路径的命名空间

2 Per-Job模式

2.1 描述

Per-Job即一个Flink Job与其YARN Application(App)生命周期绑定，执行过程如下图，在提交YARN App时同时将Flink Job的file/jars通过YARN Distributed Cache分发，一次性完成提交，而且JM是根据JobGraph产生的Task的资源实际需求来向RM申请slot执行，Flink RM再动态的申请/释放YARN的Container。

2.1 使用Per-Job模式向YARN提交Job

这里以提交官方example/streaming包下提供的SocketWindowWordCount为例，需要我们提供一个socket地址和端口，我们在本地使用nc命令监听9090端口。

nc -lk 9090

使用命令行提交：

./bin/flink run -m yarn-cluster examples/streaming/SocketWindowWordCount.jar --hostname localhost --port 9090

注意：如果遇到错误，可以参考第四部分错误问题汇总

如下图所示，提交成功。

我们可以进入YARN Web查看我们刚才提交的应用。

点击【ApplicationMaster】进入Flink Web。

在socket命令窗口，输入单词hello world

点击Flink Web左侧导航栏中的【Task Managers】，选择一个Task，然后点击【Stdout】查看输出。

提交job时，我们也可以指定一些参数，详情查看第1部分的参数列表。

3 Session模式

3.1 描述

Per-Job还是存在局限，YARN App的提交时资源申请和启动TM的时间较长(秒级)，尤其在交互式分析短查询等场景上，Job计算逻辑执行时间很短，那么App的启动时间占比大就严重影响了端到端的用户体验，缺少了Standalone模式上Job提交快的优点。但FLIP-6架构的威力，还是能轻松化解这个问题，如下图所示，通过预启动的YARN App来跑一个Flink Session（Master和多个TM已启动，类似Standalone可运行多个Job），再提交执行Job，这些Job就可以很快利用已有的资源来执行计算。Blink分支与Master具体实现有点不同（是否预起TM），后续会合并统一，并且继续开发实现Session的资源弹性——按需自动扩缩TM数量，这点是standalone无法实现的。

3.2 Session模式下提交Job

  1. 启动Flink集群

    ./bin/yarn-session.sh -n 2 -jm 1024m -tm 2048

    -n 指定container参数为2个

    -jm 指定jobmanager内存为1024mb

    -tm 指定taskmanager内存为2048

  2. 根据日志信息JobManager Web Interface: http://192.168.1.108:57591我们通过浏览器访问该地址:

  3. 提交Flink job到Flink集群，这里还以SocketWindowWordCount为例，所以需要我们先使用nc -lk 9090 监听端口，然后执行如下命令提交job

    注意：这里需要从上一步的日志中找到我们再YARN上启动的Application ID，例如这里拿到的ID为：application_1576135471024_0001，我们需要通过-yid指定该参数

    ./bin/flink run -yid application_1576135471024_0001 examples/streaming/SocketWindowWordCount.jar --hostname localhost --port 9090

  4. 同样在socket命令窗口，输入单词hello world，查看TaskManager里的输出。

  5. 停止集群

    有两种方式停止Session集群：

    方式1

    echo stop | ./bin/yarn-serssion.sh -id <application_id>

    方式2

    yarn application -kill <application_id>

4 YARN模式下HighAvailability配置

Flink在YARN模式下的高可用，并不会启动多个Jobmanager实例来实现高可用，而是依赖YARN失败重启机制。

  1. 先要确保启动 Yarn 集群用的“yarn-site.xml”文件中的这个配置，这个是 Yarn 集群级别 AM 重启的上限。

    <property>
  <name>yarn.resourcemanager.am.max-attempts</name>
  <value>20</value>
  <description>
    The maximum number of application master execution attempts.
  </description>
</property>

  2. 在conf/flink-conf.yaml文件中配置Flink Jobmanager能够重启的数量

    yarn.application-attempts: 10     # 1+ 9 retries

  3. HA依赖ZK，同样需要在conf/flink-conf.yaml文件中进行zk相关的配置

    # The high-availability mode. Possible options are 'NONE' or 'zookeeper'.
high-availability: zookeeper
# jobmanager的元数据存放在dfs，zk里只存路径。这里要求指定所有节点都可以访问的分布式存储(like HDFS, S3, Ceph, nfs, ...)
high-availability.storageDir: hdfs:///flink/ha/
# zk地址
high-availability.zookeeper.quorum: localhost:2181

5 错误问题汇总

4.1 Could not identify hostname and port in ‘yarn-cluster’

错误信息：

在向YARN提交任务的时候报如下错误

------------------------------------------------------------
 The program finished with the following exception:

java.lang.RuntimeException: Could not identify hostname and port in 'yarn-cluster'.
	at org.apache.flink.client.ClientUtils.parseHostPortAddress(ClientUtils.java:47)
	at org.apache.flink.client.cli.AbstractCustomCommandLine.applyCommandLineOptionsToConfiguration(AbstractCustomCommandLine.java:83)
	at org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:60)
	at org.apache.flink.client.cli.DefaultCLI.createClusterDescriptor(DefaultCLI.java:35)
	at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:224)
	at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
	at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050)
	at org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126)
	at org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
	at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)

原因分析：

Flink客户端向YARN提交任务，需要YARN的相关依赖，通过这些依赖包，客户端会找到YARN ResourceManager的地址，并向其提交任务。由于环境中不具备这些依赖，就会报日志中所述的错误。

解决方法：

解决这个问题，有两种方法:

  1. 从官网下载HADOOP相关的依赖，并将其放到FLINK_HOME/lib/目录下。

    地址：https://flink.apache.org/downloads.html，按照需求下载hadoop依赖，例如Pre-bundled Hadoop 2.7.5 (asc, sha1)

  2. 在环境中配置HADOOP_CLASSPATH变量

    https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html

    export HADOOP_CLASSPATH=`hadoop classpath`

4.2 The number of requested virtual cores per node 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster. Please note that the number of virtual cores is set to the number of task slots by default unless configured in the Flink config with ‘yarn.containers.vcores.’

错误信息：

------------------------------------------------------------
 The program finished with the following exception:

org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster
	at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploySessionCluster(AbstractYarnClusterDescriptor.java:387)
	at org.apache.flink.client.cli.CliFrontend.runProgram(CliFrontend.java:259)
	at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:213)
	at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1050)
	at org.apache.flink.client.cli.CliFrontend.lambda$main$11(CliFrontend.java:1126)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1754)
	at org.apache.flink.runtime.security.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41)
	at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1126)
Caused by: org.apache.flink.configuration.IllegalConfigurationException: The number of requested virtual cores per node 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster. Please note that the number of virtual cores is set to the number of task slots by default unless configured in the Flink config with 'yarn.containers.vcores.'
	at org.apache.flink.yarn.AbstractYarnClusterDescriptor.isReadyForDeployment(AbstractYarnClusterDescriptor.java:259)
	at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deployInternal(AbstractYarnClusterDescriptor.java:459)
	at org.apache.flink.yarn.AbstractYarnClusterDescriptor.deploySessionCluster(AbstractYarnClusterDescriptor.java:380)
	... 9 more

原因分析：

YARN虚拟核数不够导致此错误

解决方法：

https://issues.apache.org/jira/browse/FLINK-9013


<property>
 <name>yarn.nodemanager.resource.cpu-vcores</name>
 <value>5</value>
</property>
shirukai
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】yarn集群模式
Chain的博客
08-24 809
Linux - export 命令的生命周期 : 断开会话后 export 的环境变量不生效；支持会话级别的新增、删除和修改环境变量，用作之后的程序使用，仅仅用作此次会话期间；flink系列 转载自作者：Z尽际链接：https://www.jianshu.com/p/f63b7e1e6e09来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
flink的yarn模式部署
qianfeng_dashuju的博客
07-08 2000
1、yarn cluster 模式部署介绍 mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。 flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图： 2、flink session HA模式 需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，那下一个.
Flink源码分析(3)Flink-Per-job Yarn集群启动前期准备源码分析
最新发布
道可道非常道
04-25 632
这段代码在启动ApplicationMaster之前做了各种检查，包括用户权限、内存、路径、yarn队列等等，在检查条件通过后通过。发现createClusterDescriptor方法是一个抽象方法，因为本文追踪Per-Job模式，所以由。在startAppMaster对启动应用设计的环境信息、配置信息和依赖信息和安全信息等进行了详细的配置，其中。Yarn集群描述器封装了yarn运行的基本配置信息，返回赋值到clusterDescriptor。向yarn提交任务；是启动AM的入口类，继续追踪。
Flink集群之Flink Yarn Cluster部署
渐宽阁读书小弟
03-31 1552
文章目录前言准备环境 前言 flink应用提交到Yarn上目前支持两种模式： （1）Yarn Session Model：Flink会向hadoop Yarn 申请足够多的资源，并在Yarn上启动长时间运行的Flink Session集群，用户可以通过RestAPI或Web页面将Flink任务提交到Flink Session集群上运行。 （2）Single Job Model：每个Flink任务单...
Flink on Yarn 部署Session-Cluster和Per-Job-Cluster
热门推荐
zhangxm_qz的博客
08-21 1万+
文章目录原理介绍Flink on Yarn模式部署启动Session-Clusterm模式Per-Job-Cluster模式 Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要 1 套 Hadoop集群，就可以执行 MapReduce 、Spark和Flink 任务，操作非常方便，运维方面也很轻松。Flink on Yarn 模式需要依赖 Hadoop 集群，并且Hadoop 的版本需
高可用Flink on YARN集群快速配置
云祁QI
11-09 718
我们长久以来一直使用Spark作为离线和近实时计算框架，几乎承担了主要业务中所有的计算任务。最近Flink逐渐兴起，我们通过查阅资料和参加Meetup，了解到Flink在实时计算方面确实比Spark有优势。我们正准备涉足实时业务，实时数仓、实时推荐这些东西总是要有的，快速上手Flink势在必行。 Flink的官方文档比较详尽，并且设计理念与Spark多有相通，理解成本较低。Flink有多种集群部署方式（Local/Standalone/YARN/K8s/Mesos等等），考虑到已经有现成的YARN和Zoo
Flink 集群部署 之 YARN配置（YARN Setup）
飞朋的博客
09-11 7771
目录 快速开始 在YARN上启用一个长连接Flink集群 在YARN上运行一个Flink任务 Flink YARN Session 启动Flink Session 提交Job到Flink 提交一个Flink job到YARN User jars & Classpath YARN上Flink任务的恢复行为 Debugging一个失败的YARN session 日志文件...
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-...
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
FLINK_ON_YARN-1.14.3.jar
04-05
CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar
FLINK_ON_YARN-1.12.0.jar
11-01
适用范围CDH (>= 5.2), CDH (),系统版本 el7
flink-on-yarn-1.13.2.jar
09-28
本人搭建cdh6.3.2环境时候集成flink1.13.2组件使用的flink_on_yarn-1.13.2.jar资源包，已验证可以使用，是本人制作parcel的时候的成品
Flink安装及WordCount实例yarn-cluster提交
heccxx的博客
11-19 1666
flink flink（基于数据流上的有状态计算） flink的特点： 事件驱动型 事件驱动型应用是一类具有状态的应用，它从一个或多个事件六提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。（SparkStreaming是微批次，将批次更加微小化） 实时流处理 批处理的特点是有界、持久、大量。非常适合需要访问全套记录才能完成的计算工作，一般用于离线计算。 流处理的特点是无界、实时...
flink on yarn 提交命令
Sen的博客
02-20 5803
文章目录flink on yarnFlink on Yarn的两种运行方式第一种【yarn-session.sh(开辟资源)+flink run(提交任务)】/bin/yarn-session.sh 命令分析：第二种【flink run -m yarn-cluster(开辟资源+提交任务)】/bin/flink run 命令分析：Flink在YARN上的恢复行为 flink on yarn Fli...
【回顾】flink1.12+作业以per-job模式部署在yarn-cluster的异常，flink日志配置及webui日志输出，重启作业后checkpoint恢复
yxluojiecpp的博客
09-12 1382
flink作业yarn部署遇到的异常 flink日志配置webui日志输出 重启flink作业后checkpoint恢复
【Flink】Flink on YARN 流程之Flink Cluster 启动流程是什么
九师兄
07-30 171
应用状态存储完成后，应用状态变为 SUBMITTED；如果提交成功，应用状态变为 ACCEPTED；ResourceScheduler 会根据优先级（队列 / 应用 / 请求每个维度都有优 先级配置）从根队列开始层层递进，先后选择当前优先级最高的子队列、应 用直至具体某个请求，然后结合集群资源分布等情况作出分配决策，AM Container 分配成功后，应用实例状态变为 ALLOCATED_SAVING，并触 发应用实例状态存储流程，存储成功后应用实例状态变为 ALLOCATED；
Flink on Yarn模式启动流程分析
虎头茉莉的专栏
06-24 748
Flink On Yarn 架构 Flink Cluster on Yarn启动过程中，大体可以分为二个阶段 1. Filnk Client发起请求，申请启动Flink Cluster on Yarn 2. Yarn RM接收请求，并指定NM分配Container启动Flink Cluster. (需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ，H...
Flink部署-yarn模式和K8S模式
weixin_52126591的博客
02-29 1337
以Yarn模式部署Flink任务时，要求Flink是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一块空间后，资源永远保持不变。
【Flink】Flink on YARN（上）：一张图轻松掌握基础架构与启动流程
九师兄
07-21 287
作者：杨弢（搏远）Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。下篇将根据社区大群反馈，解答客户端和Flink Cluster的常见问题，分享相关问题的排查思路。
flink on yarn 安装部署
06-28
### 回答1： Flink on Yarn 的安装部署包括以下步骤: 1. 安装 Hadoop 和 Yarn，并确保它们正常运行。 2. 下载 Flink 的 binary release 或者源码编译。 3. 配置 flink-conf.yaml 文件，设置 yarn 集群的相关参数。 4. 启动 Flink on yarn，使用命令: "./bin/yarn-session.sh -n <number of task managers> -jm <jobmanager memory> -tm <taskmanager memory>" 5. 在 Flink web UI 中检查集群状态。 注意：以上步骤仅是大致的安装流程，详细的配置参数和步骤可以参考 Flink 官方文档。 ### 回答2： Flink on YARN是一种分布式运行模式，可以在YARN（Hadoop的资源管理器）上运行Flink作业。下面是安装和部署Flink on YARN的步骤。 1. 准备环境：首先，需要确保所有节点都运行着相同的Hadoop和Flink版本。在所有节点上安装好Hadoop和Flink，并设置好JAVA_HOME、HADOOP_HOME和FLINK_HOME环境变量。 2. 配置YARN：在Hadoop集群上，需要配置YARN以支持Flink on YARN。在yarn-site.xml文件中，需要设置一些参数，如yarn.nodemanager.resource.memory-mb、yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb等，这些参数决定了YARN可以分配的资源。 3. 配置Flink：在Flink的conf/flink-conf.yaml文件中，需要设置一些参数，如jobmanager.rpc.address、jobmanager.rpc.port、taskmanager.memory.process.size和yarn.application-name等，这些参数决定了Flink on YARN可以使用的资源和配置。 4. 部署Flink on YARN：可以使用yarn-session.sh脚本来启动Flink on YARN。首先，需要在Hadoop集群上启动一个Flink集群，然后运行yarn-session.sh脚本，该脚本会向YARN提交一个作业，并启动Flink on YARN会话。可以使用以下命令启动Flink on YARN： ``` ./bin/yarn-session.sh -n <num_task_managers> -tm <tm_memory> -s <slots> -d ``` 其中，num_task_managers指定了需要启动多少个TaskManager实例，tm_memory指定每个TaskManager实例可用的内存，slots指定每个TaskManager实例可以运行的任务数，-d表示该会话将在后台运行。 5. 运行Flink on YARN作业：在Flink on YARN会话中，可以使用Flink命令行工具或Web UI提交和管理作业。可以使用以下命令提交Flink作业： ``` ./bin/flink run -m yarn-cluster -ynm <job_name> <jar_file> <program_args> ``` 其中，-m yarn-cluster指定了作业管理器运行在YARN集群上，-ynm指定作业名称，jar_file指定要运行的JAR文件，program_args指定该程序的参数。作业将会被提交到YARN集群，并由Flink on YARN管理器分配任务并运行。 以上就是部署Flink on YARN的步骤，通过这种方式，可以更好地利用Hadoop集群的计算资源，以及Flink的高性能计算能力。同时，也可以通过管理器的监控和管理功能，更加方便地调试和管理Flink应用。 ### 回答3： Apache Flink是一个流处理引擎，可以在大数据环境中进行流式数据处理，支持高容错性和高吞吐量。而Apache Hadoop YARN是Apache Hadoop生态系统中的资源管理器，可用于管理计算资源。 Flink on YARN是将Flink集成到YARN中，以便更好地管理Flink作业的资源和调度。下面我将介绍如何安装和部署Flink on YARN。 首先，我们需要准备以下环境： 1. 安装Hadoop（版本必须与Flink相同）。 2. 在Flink官网上下载Flink二进制文件。 接下来，我们将进行以下步骤： 1. 将Flink二进制文件复制到YARN节点上。 2. 编辑Flink的yarn-site.xml文件。该文件位于Flink/conf目录下。在文件中，我们需要配置以下属性： a. yarn.application.classpath：指定Flink作业所需的依赖项。 b. yarn.application-attempts：指定Flink作业的重试次数。 c. yarn.resourcemanager.scheduler.address：指定YARNResourceManager的地址。 3. 启动Flink on YARN。输入以下命令即可启动： ./bin/yarn-session.sh -n <Number of TaskManager> -jm <Job Manager Memory> -tm <TaskManager Memory> 其中，-n指定TaskManager数量，-jm指定JobManager内存，-tm指定TaskManager内存。 4.使用Flink on YARN提交作业。输入以下命令即可提交作业： ./bin/flink run -m yarn-cluster <Flink Pipeline Jar> 其中，-m指定作业管理器的地址。yarn-cluster指定以YARN模式运行作业。 以上就是Flink on YARN的安装和部署过程。在这个过程中，我们需要了解Flink和YARN的结合方式，以便更好地管理Flink作业。Flink on YARN可以帮助我们轻松地管理和部署Flink作业，提高作业的可靠性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值