Flink集群部署模式对比

1. Session模式

该模式下，作业共享集群资源，作业通过Http协议进行提交。

在Flink 1.10版本中提供了3种会话模式：Yarn会话模式、K8s会话模式、Standalone。Standalone模式比较特别，Flink安装在物理机上，不能像在资源集群上一样，可以随时启动一个新集群，所有的作业共享Standalone集群，本质上就是一种Session模式，所以不支持Per-Job模式。

在Session模式下，Yarn作业提交使用yarn-session.sh脚本，K8s作业提交使用kubernetes-session.sh脚本。两者的具体实现不同，但逻辑是类似的，在启动脚本的时候就会检查是否存在已经启动好的Flink Session模式集群，如果没有，则启动一个Flink Session模式集群，然后在PipelineExecutor中，通过Dispatcher提供的Rest接口提交JobGraph，Dispatcher为每个作业启动一个JobMaster，进入作业执行阶段。

2. Per-Job模式

该模式下，一个作业一个集群，作业之间相互隔离。在Flink 1.10版本中，只有Yarn上实现了Per-Job模式，K8s的Per-Job模式在后续版本中会实现。Per-Job模式下，因为不需要共享集群，所以在PipelineExecutor中执行作业提交的时候，可以创建集群并将JobGraph以及所需要的文件等一同提交给Yarn集群，Yarn集群在容器中启动Flink Master进程（即JobManager进程），进行一系列的初始化动作，初始化完毕之后，从文件系统中获取JobGraph，交给Dispatcher。之后的执行流程与Session模式下的执行流程相同。

3 flink1.11 Application Mode

但是现在这些平台遇到一个大问题是部署服务是一个消耗资源比较大的服务，并且很难计算出实际资源限制。比如，如果我们取负载的平均值，则可能导致部署服务的资源真实所需的值远远大于限制值，最坏的情况是在一定时间影响所有的线上应用。但是如果我们将取负载的最大值，又会造成很多不必要的浪费。基于此，Flink 1.11 引入了另外一种部署选项 Application Mode， 该模式允许更加轻量级，可扩展的应用提交进程，将之前客户端的应用部署能力均匀分散到集群的每个节点上。