Flink on Yarn模式部署

已于 2022-08-03 15:28:43 修改
阅读量7.4k 收藏 67
点赞数 6
分类专栏： flink 大数据 文章标签： big data hadoop flink
于 2022-06-17 16:13:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26838315/article/details/125330881
版权

一，介绍

独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所以接下来介绍的是 YARN 平台上 Flink 是如何集成部署的。

整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的ResourceManager, Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配TaskManager 资源。

二，flink on yarn部署

2.1 相关准备和配置

在 Flink1.8.0 之前的版本，想要以 YARN 模式部署 Flink 任务时，需要 Flink 是有 Hadoop 支持的。从 Flink 1.8 版本开始，不再提供基于 Hadoop 编译的安装包，若需要Hadoop 的环境支持，需要自行在官网下载 Hadoop 相关版本的组件flink-shaded-hadoop-2-uber-2.7.5-10.0.jar， 并将该组件上传至 Flink 的 lib 目录下。在 Flink 1.11.0 版本之后，增加了很多重要新特性，其中就包括增加了对Hadoop3.0.0 以及更高版本Hadoop 的支持，不再提供flink-shaded-hadoop-*jar 包，而是通过配置环境变量完成与 YARN 集群的对接。

在将 Flink 任务部署至 YARN 集群之前，需要确认集群是否安装有Hadoop，保证Hadoop版本至少在 2.2 以上，并且集群中安装有 HDFS 服务。
下载flink安装包：https://flink.apache.org/downloads.html

这里我选用的版本为：flink-1.13.6-bin-scala_2.12.tgz

下载kafka相关jar，为后续连接kafka做准备

https://repo1.maven.org/maven2/org/apache/flink/flink-connector-kafka_2.12/1.13.6/flink-connector-kafka_2.12-1.13.6.jar

https://repo1.maven.org/maven2/org/apache/kafka/kafka-clients/2.0.0/kafka-clients-2.0.0.jar

将安装包上传到/root/soft下载，进行解压操作

cd /root/soft
tar -zxf flink-1.13.6-bin-scala_2.12.tgz -C /data1/

为了方便区分将安装包改名

cd /data1/
mv flink-1.13.6/ flink-1.13.6-yarn

2.2 环境变量配置

修改机器环境变量

vim /etc/profile

增加环境变量配置如下，这里必须保证设置了环境变量HADOOP_CLASSPATH：

# hadoop
export HADOOP_HOME=/usr/hdp/3.1.5.0-152/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/conf
export HADOOP_CLASSPATH=`hadoop classpath`

# flink
export FLINK_HOME=/data1/flink-1.13.6-yarn
export PATH=$PATH:$FLINK_HOME/bin

修改完使用以下命令生效

source /etc/profile

2.3 flink配置修改

进入 conf 目录，修改 flink-conf.yaml 文件

cd $FLINK_HOME
vim conf/flink-conf.yaml

修改以下配置

jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1

参数意义如下

参数介绍
jobmanager.memory.process.size对 JobManager 进程可使用到的全部内存进行配置， 包括 JVM 元空间和其他开销，默认为 1600M，可以根据集群规模进行适当调整。
taskmanager.memory.process.size对 TaskManager 进程可使用到的全部内存进行配置，包括 JVM 元空间和其他开销，默认为 1600M，可以根据集群规模进行适当调整。
taskmanager.numberOfTaskSlots对每个 TaskManager 能够分配的 Slot 数量进行配置， 默认为 1，可根据 TaskManager 所在的机器能够提供给 Flink 的 CPU 数量决定。所谓Slot 就是TaskManager 中具体运行一个任务所分配的计算资源。
parallelism.defaultFlink 任务执行的默认并行度，优先级低于代码中进行的并行度配置和任务提交时使用参数指定的并行度数量。

2.4 上传依赖包

为了后续使用flink连接kafka时不出现问题，这里将额外下载的jar包上传到lib目录

cd /root/soft
cp flink-connector-kafka_2.12-1.13.6.jar kafka-clients-2.0.0.jar $FLINK_HOME/lib

2.5 高可用部署

正常基于 Yarn 提交 Flink 程序，无论是使用 yarn-session 模式还是 yarn-cluster 模 式 ， 基 于 yarn 运 行 后 的 application 只 要 kill 掉 对 应 的 Flink 集 群 进 程 “YarnSessionClusterEntrypoint”后，基于 Yarn 的 Flink 任务就失败了，不会自动进行重试，所以基于 Yarn 运行 Flink 任务，也有必要搭建 HA，同样还是需要借助 zookeeper 来完成高可用管理。

Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高可用，同时JobManager的元数据信息也依赖于HDFS的高可用（namenode的高可用，和多副本机制），再者JobManager元数据的指针信息要依赖于Zookeeper的高可用。

YARN 模式的高可用和独立模式（Standalone）的高可用原理不一样。Standalone 模式中, 同时启动多个 JobManager, 一个为leader，其他为standby，当 leader 挂了, 其他的才会有一个成为 leader。而 YARN 的高可用是只启动一个 Jobmanager，当这个 Jobmanager 挂了之后，YARN 会再次启动一个，所以其实是利用的 YARN 的重试次数来实现的高可用。

请注意，在YARN上部署时，Flink管理high-availability.cluster-id配置参数。Flink默认将其设置为YARN应用程序的ID。在YARN上部署HA集群时，你不应该覆盖这个参数。集群ID是用来区分HA后端（例如Zookeeper）的多个HA集群的。覆盖这个配置参数会导致多个YARN集群相互影响。

Flink on YARN是针对Hadoop 2.4.1编译的，所有Hadoop版本>=2.4.1都被支持，包括Hadoop 3.x。

2.5.1 修改yarn配置

YARN负责重启失败的JobManagers。JobManager的最大重启次数是通过两个配置参数定义的。首先Flink的yarn.application-attempts配置将默认为2。这个值由YARN的yarn.resourcemanager.am.max-attempts限制，它的默认值也是2。

修改yarn 中配置(yarn-site.xml)设置application master重启时，尝试的最大次数。

<property>
    <name>yarn.resourcemanager.am.max-attempts</name>
    <value>4</value>
    <description>
    The maximum number of application master execution attempts.
    </description>
</property>

2.5.2 修改flink-conf.yaml配置

修改flink-conf.yaml配置文件，添加修改以下内容

# 单个flink job重启次数 必须小于等于yarn-site.xml中Application Master配置的尝试次数(yarn.resourcemanager.am.max-attempts)
yarn.application-attempts: 3
# 高可用模式
high-availability: zookeeper
# JobManager元数据保留在文件系统storageDir中，指向此状态的指针存储在ZooKeeper中
high-availability.storageDir: hdfs://mycluster/flink/yarn/ha
# Zookeeper集群，修改为自己的集群
high-availability.zookeeper.quorum: n11hdp01:2181,n12hdp02:2181,n13hdp03:2181
# 在zookeeper下的根目录
high-availability.zookeeper.path.root: /flink-yarn

注意：对于未启动高可用之前启动job 需要在配置完高可用后重启job

2.5.3 测试

测试 flink on yarn 下per job

flink run -d -t yarn-per-job $FLINK_HOME/examples/streaming/TopSpeedWindowing.jar

查看hdfs目录，可以看到flink on yarn的 ha checkpoint目录已创建
在这里插入图片描述
查看flink webui日志，可以看到已选取leader
在这里插入图片描述

Jps获取YarnJobClusterEntrypoint 的进程，然后杀掉此进程
在这里插入图片描述

这时再访问job的web ui界面可以看到以下信息，这个代表正常选举leader，jobmanager正在重启
在这里插入图片描述

等待一会可以发现web ui界面正常显示，日志显示启动了一个新的leader
在这里插入图片描述

三，测试

3.1 会话模式执行(yarn session)

YARN 的会话模式与独立集群略有不同，需要首先申请一个 YARN 会话（YARN session） 来启动 Flink 集群。

3.1.1 启动集群

执行脚本命令向 YARN 集群申请资源，开启一个 YARN 会话，启动 Flink 集群。

yarn-session.sh -nm test

可用参数解读：

  • -d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，即使关掉当前对话窗口，YARN session 也可以后台运行。
  • -jm(--jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。
  • -nm(--name)：配置在 YARN UI 界面上显示的任务名。
  • -qu(--queue)：指定 YARN 队列名。
  • -tm(--taskManager)：配置每个 TaskManager 所使用内存。

注意：Flink1.11.0 版本不再使用-n 参数和-s 参数分别指定 TaskManager 数量和 slot 数量， YARN 会按照需求动态分配TaskManager 和 slot。所以从这个意义上讲，YARN 的会话模式也不会把集群资源固定，同样是动态分配的。

YARN Session 启动之后会给出一个web UI 地址以及一个 YARN application ID，如下所示，用户可以通过web UI 或者命令行两种方式提交作业。

2022-06-14 17:21:43,152 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - YARN application has been deployed successfully.
2022-06-14 17:21:43,153 INFO  org.apache.flink.yarn.YarnClusterDescriptor                  [] - Found Web Interface n13hdp03:19264 of application 'application_1653635374037_0023'.
JobManager Web Interface: http://n13hdp03:19264

可以看到我们创建的 Yarn-Session 实际上是一个 Yarn 的Application，并且有唯一的Application ID。
在这里插入图片描述

3.1.2 提交任务

执行以下命令将该任务提交到已经开启的 Yarn-Session 中运行。

flink run $FLINK_HOME/examples/streaming/TopSpeedWindowing.jar

在这里插入图片描述
客户端可以自行确定 JobManager 的地址，也可以通过-m 或者-jobmanager 参数指定JobManager 的地址，JobManager 的地址在 YARN Session 的启动页面中可以找到。
任务提交成功后，可在 YARN 的Web UI 界面查看运行情况。
在这里插入图片描述

从图中可以看到我们创建的 Yarn-Session 实际上是一个 Yarn 的Application，并且有唯一的Application ID。

也可以通过 Flink 的 Web UI 页面查看提交任务的运行情况
在这里插入图片描述
此时再次提交一个任务

flink run /ywdsj/test/dfkafka.jar

在这里插入图片描述

任务提交成功后，可在 YARN 的Web UI 界面查看运行情况。

在这里插入图片描述
从图中可以看到我们提交的任务仍然是提交到 Yarn-Session上，这时 Flink 的 Web UI 页面可以看到有两个running job了

在这里插入图片描述

3.2 单作业模式执行(Yarn Per-job)

3.2.1 介绍

在 YARN 环境中，由于有了外部平台做资源调度，所以我们也可以直接向 YARN 提交一个单独的作业，从而启动一个 Flink 集群。
Per-job Cluster模式将在YARN上启动一个Flink集群，然后运行本地提供的应用程序jar包，最后将JobGraph提交给YARN上的JobManager。如果你传递了–detached参数，一旦提交被接受，客户端将停止。

3.2.2 任务执行

执行命令提交作业

flink run -d -t yarn-per-job $FLINK_HOME/examples/streaming/TopSpeedWindowing.jar

早期版本也有另一种写法：

flink run -m yarn-cluster $FLINK_HOME/examples/streaming/TopSpeedWindowing.jar

注意这里是通过参数-m yarn-cluster指定向 YARN 集群提交任务。

在 YARN 的ResourceManager 界面查看执行情况，如图所示。

在这里插入图片描述
点击可以打开 Flink Web UI 页面进行监控
在这里插入图片描述
可以使用命令行查看作业

flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY

在这里插入图片描述
取消作业

flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>

在这里插入图片描述
这里的 application_XXXX_YY 是当前应用的 ID，<jobId>是作业的 ID。注意如果取消作业，整个 Flink 集群也会停掉。

3.3 应用模式执行(yarn application)

应用模式同样非常简单，与单作业模式类似，直接执行 flink run-application 命令即可。

flink run-application -t yarn-application $FLINK_HOME/examples/streaming/TopSpeedWindowing.jar

在命令行中查看或取消作业

flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY
flink cancel -t yarn-application -Dyarn.application.id=application_XXXX_YY <jobId>

也可以通过yarn.provided.lib.dirs 配置选项指定位置，将 jar 上传到远程

flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://mycluster/my-remote-flink-dist-dir" hdfs://mycluster/jars/my-application.jar

这种方式下 jar 可以预先上传到 HDFS，而不需要单独发送到集群，这就使得作业提交更加轻量了。

陈小哥cw
关注
  • 6
    点赞
  • 踩
  • 67
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于Open3D和Azure Kinect DK实现的三维重建C++源码+项目说明.zip
08-21
【资源说明】 1、该资源内项目代码都是经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能。 基于Open3D和Azure Kinect DK实现的三维重建C++源码+项目说明.zip 基于Open3D和Azure Kinect DK实现的三维重建C++源码+项目说明.zip 基于Open3D和Azure Kinect DK实现的三维重建C++源码+项目说明.zip 此项目基于 Open3D 和 Azure Kinect DK 实现了三维重建。利用 Azure Kinect DK 捕获图像并记录 IMU 数据，利用 Open3D 实现三维重建。 # 依赖库 - Azure Kinect SDK - Eigen - Open3D # 创建数据存放文件夹 ```bash mkdir build cd build mkdir pcd ply ply-data reg
hdfs通过接口退出安全模式_flink的yarn模式部署
weixin_39591455的博客
11-26 346
1、yarn cluster 模式部署介绍mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图：2、flink session HA模式需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，...
Flink on Yarn部署
tom_fans的博客
04-12 2602
1.Flink 编译 这部分官方文档已经描述的很清楚，先下载源代码，再进行编译，直接下载二进制的不一定能符合你的需求。 git clone https://github.com/apache/flink mvn clean install -DskipTests -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.10.2 等待大概20分钟左右，编译完成...
【Flink】Flink on YARN：一张图轻松掌握基础架构与启动流程
最新发布
书山有路，学海无涯。记录成长，追逐梦想
03-05 1192
Flink on YARN 集群部署模式涉及 YARN 和 Flink 两大开源框架，应用启动流程的很多环节交织在一起，为了便于大家理解，在一张图上画出了 Flink on YARN 基础架构和应用启动全流程，并对关键角色和流程进行了介绍说明，整个启动流程又被划分成客户端提交（流程标注为紫色）、Flink Cluster 启动和 Job 提交运行（流程标注为橙色）两个阶段分别阐述，由于分支和细节太多，本文会忽略掉一些，只介绍关键流程（基于 Flink 开源1.9版本源码整理）。
大数据实操篇 No.11-Flink on Yarn集群HA高可用部署及使用
pezynd的专栏
09-05 4427
第1章 简介 Flink on Yarn的HA高可用模式，首先依赖于yarn自身的高可用机制（ResourceManager高可用），并通过yarn对jobmanager进行管理，当jobmanager失效时，yarn将重新启动jobmanager。其次flink job在恢复时，需要依赖checkpoint进行恢复，而checkpoint的快照依赖于hdfs的高可用，同时jobmanager的元数据信息也依赖于hdfs的高可用（namenode的高可用，和多副本机制），再者jobmanager元数据的指
flink on yarn部署
AttributeSet的博客
04-21 2682
官网下载对应的版本 flink版本-1.13.6 hadoop版本-3.2.1 步骤： 首先安装jdk 1、配置hosts vi /etc/hosts 例如： 192.168.0.1 flink1 192.168.0.3flink2 192.168.0.3flink3 2、防火墙关闭 firewall-cmd --state # 查看是否running systemctl stop firewalld #停止firewall systemctl disable fire...
Flink ON YARN
libaowenBlog的博客
08-20 3721
Flink ON YARN 模式就是使用客户端的方式，直接向Hadoop集群提交任务即可，不需要单独启动Flink进程。
【Flink】【第三章 Flink运行模式】 Flink on Yarn
weixin_43589563的博客
01-11 3391
Yarn模式 在yarn模式下，启动flink集群之前要启动yarn和hadoop 以Yarn模式部署Flink任务时，要求Flink有Hadoop支持的版本。Flink1.10要求Hadoop环境需要保证版本在2.2以上，并且集群中安装有HDFS服务。 yarn模式，将flink集群部署在yarn集群上，用yarn的ResourceManager负责flink集群的资源调度。 1.Flink on Yarn的两种模式说明 Flink on yarn有两种运行模式：Session-Cluster和Per
Flink集群安装和部署之Flink On Yarn
chbxw
06-21 7003
文章目录一、Session-Cluster模式（yarn-session）二、Pre-Job-Cluster模式（yarn-cluster）   Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务，目前在企业中使用较多。这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行 MR和 Spark 任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。Flink on Yarn 模式需要依赖 Had
Flink On Yarn模式配置
weixin_44378305的博客
10-18 9355
Flink On Yarn模式配置Flink On Yarn模式配置引言一、安装JDK二、安装Hadoop三、安装Zookeeper四、安装Flink Flink On Yarn模式配置 引言 ​ Flink依靠Yarn来实现高可用，由于Yarn依赖于Hadoop，而Hadoop又依赖于Jdk。 ​ 准备三台机器 ​ 1.1.1.1 node1 ​ 1.1.1.2 node2 ​ 1.1.1.3 node3 一、安装JDK 1. 下载解压 tar -xvf jdk-8u271-linux-x64.tar
flink on yarn集群搭建
LW_ICE
06-22 5658
环境需求 CentOS7.5.1804、jdk1.8.0_181、zookeeper3.6.2、hadoop3.2.2、flink1.12.2 关于hadoop的安装细节请查看《hadoop3.2.2集群搭建》 集群部署 下载flink-1.12.2的安装包，下载地址：https://archive.apache.org/dist/flink/flink-1.12.2/，如下图 下载scala-2.12.13的安装包，下载地址：https://scala-lang.org/download/2.12.
一文弄懂Flink基础理论
01-20
文章目录Flink概述Flink生态为什么选择Flink?系统架构JobManager运行架构常用的类型和操作程序结构介绍并行数据流Task and Operator Chains核心原理Window&TimeWindowTimeState状态管理按组织形式的划分按照数据的划分和扩张方式Checkpoint容错机制Savepoint保存点Savepoint 和 CheckpointFlink部署与运行Yarn运行Flink作业Flink YARN SessionRun a single Flink job on YARN（推荐）Standalone部署Storm、Spark-Streaming
flink源码浅析和运行机理梳理
05-17
基于对flink的学习，和对flink源码的简单梳理，从flink on yarn的角度，介绍flink从启动，到提交yarn任务，以及完成整个过程涉及到的进程交互和内存管理等底层逻辑。该资源一共分为4个部分：1、yarn提交流程，2、组件通信，3、任务调度，4、内存管理 适合人群：具备一定编程基础和大数据基础知识，工作1-3年的大数据研发和运维人员 能学到什么：①flink on yarn模式之下的启动和运行原理，通过简单梳理底层逻辑加深对flink的掌握；②从底层机理的角度剖析flink是如何处理我们的需求的，从而帮助我们更好的解决运维问题。 阅读建议：此资源基于flink的源码追踪并简单分析，学习参考的时候建议下载相应版本的flink源码，并搭建虚拟机安装部署测试flink，在运行过程中结合源码和笔记学习效果更佳。有经验的开发人员可以编译并debug flink的源码，这样可以更加直观深入地研究flink的运行原理。有利于开发应用和解决问题
flink on yarn.txt
05-24
编译环境： flink on yarn flink版本：flink1.8.0 scala版本：scala_2.1.2 hadoop版本：hadoop2.6.0-cdh5.9.3 系统：cetos6.4 final
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-SCALA_2.11
flink-yarn_2.11-1.12.2.jar
04-26
flink on yarn 部署模式需要的jar
Flink安装-简介.docx
07-30
Flink安装-简介
CDH各个版本组件版本及常见cdh链接
陈小哥cw
01-07 5323
5.x的CDH各个组件版本信息 https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_cdh_vd.html 6.x的CDH各个组件版本信息 https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62...
flink on k8s 源码
08-09
Flink on Kubernetes（Flink在Kubernetes上的运行）是基于Apache Flink的一个功能扩展，用于在Kubernetes集群上运行Flink作业。它基于Flink的分布式任务调度和容错性，同时利用Kubernetes的容器编排和资源管理能力，提供了更高的弹性和可扩展性。 Flink on Kubernetes的源码位于Flink官方代码仓库中的"flink-kubernetes"目录下。在该目录中，可以找到与Kubernetes相关的几个关键组件和功能的源码实现。 首先，Flink on Kubernetes提供了一个Kubernetes集群管理器，负责与Kubernetes API进行交互，创建和管理Flink集群运行时的Kubernetes资源。这一部分的源码位于"KubernetesClusterClient"和"kubernetes"包中，其中定义了一些与Kubernetes API进行交互的类和方法。 其次，Flink on Kubernetes还实现了一个弹性扩缩容功能，可以根据作业的负载情况自动增加或减少任务管理器的数量。这个功能的源码实现在"KubernetesResourceManager"和"KubernetesPodResource"等类中，它们负责监控任务管理器的运行情况，并在需要时创建或删除相应的Kubernetes Pod资源。 此外，Flink on Kubernetes还提供了一些用于容器环境和资源管理的配置选项，这些选项允许用户根据具体需求调整Flink作业的资源分配和容器化设置。源码中的"kubernetes.config"和"KubernetesUtils"等类定义了这些配置选项，并提供了相关的解析和处理功能。 总的来说，Flink on Kubernetes的源码实现了Flink作业在Kubernetes上的任务调度、资源管理和容错机制，通过与Kubernetes API进行交互和操作，实现了更灵活、可扩展的作业部署和运行方式。对于想要理解Flink on Kubernetes的工作原理和深入探究其实现细节的用户来说，可以通过阅读源码来获得更全面的了解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值