Flink的Yarn-Per-Job提交指令

Flink的yarn-per-job提交

0.运行环境

Flink版本：Flink 1.13.0
集群环境：CDH6.3.2

新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务

主要描述该部分的提交流程

1.提交任务

提交任务主要是通过./bin/flink run -t yarn-per-job完成

常用的提交指令如下

./bin/flink run \
# 指定yarn的Per-job模式，-t等价于-Dexecution.target
-t yarn-per-job \
# yarn应用的自定义name
-Dyarn.application.name=consumerDemo \
# 未指定并行度时的默认并行度值, 该值默认为1
-Dparallelism.default=3 \
# JobManager进程的内存
-Djobmanager.memory.process.size=2048mb \
# TaskManager进程的内存
-Dtaskmanager.memory.process.size=2048mb \
# 每个TaskManager的slot数目, 最佳配比是和vCores保持一致
-Dtaskmanager.numberOfTaskSlots=2 \
# 防止日志中文乱码
-Denv.java.opts="-Dfile.encoding=UTF-8" \
# 支持火焰图, Flink1.13新特性, 默认为false, 开发和测试环境可以开启, 生产环境建议关闭
-Drest.flamegraph.enabled=true \
# 入口类
-c xxxx.MainClass \
# 提交Job的jar包
xxxx.jar

2.退出任务

① 使用cancel退出任务

此时无法指定savepoint

./bin/flink cancel \
-t yarn-per-job \
# Yarn的ApplicationID值, 可以通过Yarn的webUI直接查看
-Dyarn.application.id=${YarnApplicationID} \
# Flink的JobID, 可以通过Yarn找到Flink的WebUI进行查看
${FlinkJobID}

查看Yarn的ApplicationID

查找Flink的WebUI地址

查看Flink的JobID

也可以使用以下指令进行查看

./bin/flink list \
-t yarn-per-job \
-Dyarn.application.id=${yarnApplicationID}

② 使用stop退出

与cancel类似，但是可以指定savepoint的存放地址

./bin/flink stop \
-t yarn-per-job \
-Dyarn.application.id=${YarnApplicationID} \
# 指定savepoint存放位置
--savepointPath hdfs://192.168.31.201:8020/test/checkpoint_test \
${FlinkJobID}

执行完成可以看到savepoint的具体地址，用于Job启动时的savepoint地址

3.从savepoint恢复

和启动指令类似，只是添加了savepoint的位置

./bin/flink run \
-t yarn-per-job \
-Djobmanager.memory.process.size=2048mb \
-Dtaskmanager.memory.process.size=2048mb \
-Dtaskmanager.numberOfTaskSlots=2 \
-Denv.java.opts="-Dfile.encoding=UTF-8" \
-Drest.flamegraph.enabled=true \
# 指定savepoint地址
--fromSavepoint hdfs://192.168.31.201:8020/test/checkpoint_test/savepoint-e28bdd-ef7febad087e \
-c com.zyx.flinkdemo.FlinkKafkaConsumerDemo \
/home/dev/flinkdemo-1.0-SNAPSHOT.jar

4.参考官方文档

更多的提交参数，可以阅读官方文档

Yarn提交参数

Flink配置参数

Flink命令行界面