Flink on yarn运行的Session-Cluster和Per-Job-Cluster模式详解

1、Session-Cluster模式
bin/yarn-session.sh #启动 session 运行模式
需要先启动Flink集群，向Yarn申请资源。以后提交任务都向这里提交。这个Flink集群会常驻在yarn集群中，除非手动停止。
在向Flink集群提交Job的时候, 如果资源被用完了,则新的Job不能正常提交。
缺点：如果提交的作业中有长时间执行的大作业, 占用了该Flink集群的所有资源, 则后续无法提交新的job。
适合场景：Session-Cluster适合那些需要频繁提交的多个小Job, 并且执行时间都不长的Job。

2、Per-Job-Cluster模式
bin/flink run -d -m yarn-cluster #-d（表示 detached 模式） -m yarn-cluster（表示指定 YARN 集群模式） 启动per-job运行模式
一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成。
一个作业的失败与否并不会影响下一个作业的正常提交和运行。
独享Dispatcher和ResourceManager，按需接受资源申请；
每次提交都会创建一个新的flink集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。
适合场景：适合规模大长时间运行的作业。

提交模式：Detached模式和Attached模式说明
Detached模式下，Flink Client创建完集群之后，可以退出命令行窗口，集群独立运行。
Attached模式下，Flink Client创建完集群后，不能关闭命令行窗口，需要与集群之间维持连接，好处是能够感知集群的退出，集群退出之后有机会做一些资源清理等动作，此处的清理是Flink作业可能占用外部的资源。