Flink 集群与 YARN 进行整合

要将 Flink 集群与 YARN 进行整合

1. 确保已经安装并配置好了 Hadoop YARN 和 Flink。

2. 在 Flink 的 conf 目录下，创建一个名为 flink-conf.yaml 的文件，并将以下内容添加到文件中：

# 设置运行模式为 YARN

yarn.execution-mode: yarn-session

# 设置 YARN 的 Application ID，可根据需要自定义

yarn.application-id: flink-yarn-session

# 设置 YARN 的队列名称，可根据需要自定义

yarn.application-name: Flink on YARN

# 设置 Flink 的 TaskManager 数量，根据集群规模进行调整

taskmanager.numberOfTaskSlots: 1

1. 打开终端，进入 Flink 的 bin 目录，并执行以下命令启动 Flink 集群：

./start-cluster.sh

1. 启动成功后，执行以下命令将 Flink 集群注册到 YARN ResourceManager：

./yarn-session.sh -n <numberOfTaskmanagers>

其中 <numberOfTaskmanagers> 表示期望的 TaskManager 数量。

1. 等待一段时间，直到会话启动成功并且在 YARN 上分配到相应的资源。你可以通过 YARN ResourceManager 的 Web UI 或命令行工具来监视和管理 Flink 集群。

2. 接下来，你可以使用 Flink 提供的命令行工具或 API 来提交作业到 YARN 上执行。

####如有侵权请联系删除####