Session模式集群:一个集群运行多个作业
per-job模式集群:一个集群运行一个作业。作业执行完毕集群销毁
Application 模式下,使用以下语句提交一个应用:
./bin/flink run-application -t yarn-application ./MyApplication.jar
使用此命令,所有配置参数都可以通过其配置选项(以-D
为前缀)来指定
例如,用于指定JobManager和TaskManager的内存大小的命令如下所示:
-Djava.security.krb5.conf=%s %s
为了进一步节省将Flink发行版传送到集群的带宽,请考虑将Flink发行版预上传到YARN可以访问的位置,并使用yarn.provided.lib.dirs配置选项, 最后,为了进一步节省提交应用程序jar所需的带宽,您可以将其预上传到HDFS,并指定指向./MyApplication.jar
的远程路径如下所示
-Dyarn.provided.lib.dirs=\"hdfs:///flink/jars/1.14.5/lib; hdfs:///flink/jars/1.14.5/plugin\ -Dyarn.application.name=\"helloword_youye\
yarn
/opt/flink/bin/flink run-application -t yarn-a