Yarn上使用fink Application模式

Session模式集群：一个集群运行多个作业

per-job模式集群：一个集群运行一个作业。作业执行完毕集群销毁

Application 模式下，使用以下语句提交一个应用：

./bin/flink run-application -t yarn-application ./MyApplication.jar

使用此命令，所有配置参数都可以通过其配置选项（以-D为前缀）来指定

例如，用于指定JobManager和TaskManager的内存大小的命令如下所示：

 -Djava.security.krb5.conf=%s %s

为了进一步节省将Flink发行版传送到集群的带宽，请考虑将Flink发行版预上传到YARN可以访问的位置，并使用yarn.provided.lib.dirs配置选项， 最后，为了进一步节省提交应用程序jar所需的带宽，您可以将其预上传到HDFS，并指定指向./MyApplication.jar的远程路径如下所示

 -Dyarn.provided.lib.dirs=\"hdfs:///flink/jars/1.14.5/lib;
  hdfs:///flink/jars/1.14.5/plugin\
 -Dyarn.application.name=\"helloword_youye\

yarn

/opt/flink/bin/flink run-application -t yarn-application -Dyarn.application.name=myname -Dsecurity.kerberos.krb5-conf.path=/home/conf/current/security/krb5.conf --class com.dtdream.dataclean.RealtimeMain hdfs:///dtdream_140/resources/6474dbf5fcfa4157.20230817152706066 --configPath ./ --parallelism 1 --checkpointFailureNumber 20 --enableCheckpoint true

/opt/flink/bin/flink run-application: 运行 Flink 应用程序的脚本命令。

-t yarn-application: 指定应用程序类型为 YARN 应用程序，表示这个应用程序将在 YARN 集群上运行。

-Dyarn.application.name=youye: 设置 YARN 应用程序的名称为 "myname"。

-Dsecurity.kerberos.krb5-conf.path=/home/conf/current/security/krb5.conf: 这是设置 Kerberos 安全认证相关的配置，指定了 krb5.conf 文件的路径。

--calss com.dtdream.emr.flink.sql.SqlInApplicationModeMain  指定主类

hdfs:///dtdream_140/resources/6474dbf5fcfa4157.20230817152706066: 这是要处理的输入数据的路径，它位于 HDFS 中。

--configPath ./: 指定配置文件的路径为当前目录下。

--parallelism 1: 设置并行度为 1，即应用程序将以单一并行度运行。

--checkpointFailureNumber 20: 设置检查点失败次数为 20。

--enableCheckpoint true: 启用检查点功能，允许应用程序创建检查点以实现容错性。