Flink集群部署模式的实操案例

本章重点是Flink on Yarn 模式的部署，但在写Yarn 模式部署之前，说一下 独立模式（Standalone）模式

独立模式（Standalone）

独立模式是独立运行的，不依赖任何外部的资源管理平台；当然独立也是有代价的：如果资源不足，或者出现故障，没有自动扩展或重分配资源的保证，必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。

会话模式部署

可以发现，独立模式的特点是不依赖外部资源管理平台，而会话模式的特点是先启动集群、后提交作业。所以，我们在 https://blog.csdn.net/weixin_45417821 中用的就是独立模式（Standalone）的会话模式部署。

单作业模式部署

Flink 本身无法直接以单作业方式启动集群，一般需要借助一些资源管理平台。所以 Flink 的独立（Standalone）集群并不支持单作业模式部署。

应用模式部署

应用模式下不会提前创建集群，所以不能调用 start-cluster.sh 脚本。我们可以使用同样在bin 目录下的 standalone-job.sh 来创建一个 JobManager。
具体步骤如下：
（1）进入到 Flink 的安装路径下，将应用程序的 jar 包放到 lib/目录下。

[root@hadoop102 flink-1.13.0]# cp Flink_1.13-1.0-SNAPSHOT.jar ./lib/

（2）执行以下命令，启动 JobManager。

[root@hadoop102 flink-1.13.0]#./bin/standalone-job.sh start --job-classname com.hao.wc.StreamWordCount

这里我们直接指定作业入口类，脚本会到 lib 目录扫描所有的 jar 包。
（3）同样是使用 bin 目录下的脚本，启动 TaskManager。

[root@hadoop103 flink-1.13.0]# ./bin/taskmanager.sh start
[root@hadoop104 flink-1.13.0]# ./bin/taskmanager.sh start

（4）如果希望停掉集群，同样可以使用脚本，命令如下。

[root@hadoop102 flink-1.13.0]# ./bin/standalone-job.sh stop
[root@hadoop103 flink-1.13.0]# ./bin/taskmanager.sh stop
[root@hadoop104 flink-1.13.0]# ./bin/taskmanager.sh stop

Yarn模式

整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的 ResourceManager, Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源。

相关准备和配置

配置Hadoop，添加Hadoop环境变量，下载Hadoop相关组件 jar 包 https://flink.apache.org/zh/downloads.html
将Flink 安装包 复制名称 为 flink-yarn

[root@hadoop102 module]# cp -r flink-1.13.0 flink-yarn

将 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 上传到 flink-yarn 中的 lib目录下
Hadoop3.1.3 安装教学
启动hadoop集群

[root@hadoop102 flink-yarn]# start-dfs.sh
[root@hadoop103 ~]# start-yarn.sh

会话模式部署

YARN 的会话模式与独立集群略有不同，需要首先申请一个 YARN 会话（YARN session）来启动 Flink 集群。具体步骤如下：

1， 启动集群
（1）启动 hadoop 集群(HDFS, YARN)。
（2）执行脚本命令向 YARN 集群申请资源，开启一个 YARN 会话，启动 Flink 集群。

[root@hadoop102 flink-yarn]# bin/yarn-session.sh -nm test

可用参数解读：

• -d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，即使关掉当前对话窗口，YARN session 也可以后台运行。
• -jm(–jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。
• -nm(–name)：配置在 YARN UI 界面上显示的任务名。
• -qu(–queue)：指定 YARN 队列名。
• -tm(–taskManager)：配置每个 TaskManager 所使用内存。

注意：Flink1.11.0 版本不再使用-n 参数和-s 参数分别指定 TaskManager 数量和 slot 数量，YARN 会按照需求动态分配 TaskManager 和 slot。所以从这个意义上讲，YARN 的会话模式也不会把集群资源固定，同样是动态分配的。YARN Session 启动之后会给出一个 web UI 地址以及一个 YARN application ID，

命令结尾如下所示：

提交作业
（1）通过 Web UI 提交作业
这种方式比较简单，先前的博客有讲解：https://blog.csdn.net/weixin_45417821/article/details/124037866
（2）通过命令行提交作业

[root@hadoop102 flink-yarn]# bin/flink run \
-c com.hao.wc.StreamWordCount ./Flink_1.13-1.0-SNAPSHOT.jar

在Yarn中查看 ，点击

跳转到的 Web UI 页面如下 ：

单作业模式部署

在 YARN 环境中，由于有了外部平台做资源调度，所以我们也可以直接向 YARN 提交一个单独的作业，从而启动一个 Flink 集群。
（1）执行命令提交作业。

[root@hadoop102 flink-yarn]# bin/flink run \
-d \
-t yarn-per-job \
-c com.hao.wc.StreamWordCount ./Flink_1.13-1.0-SNAPSHOT.jar

命令行结尾如下

（2）在 YARN 的 ResourceManager 界面查看执行情况，

点击可以打开 Flink Web UI 页面进行监控

应用模式部署

[root@hadoop102 flink-yarn]# bin/flink run-application \
-t yarn-application \
-c com.hao.wc.StreamWordCount ./Flink_1.13-1.0-SNAPSHOT.jar

在 YARN 的 ResourceManager 界面查看执行情况，

点击可以打开 Flink Web UI 页面进行监控