目录
3. Session mode VS Per-Job mode
4. Application mode(flink 1.11+版本)
1. Session Mode
1.1 流程
(1)session mode会预分配资源,根据指定资源实现创建一个flink集群常驻与Yarn中,并启动一个JobManager和若干TaskManager。
(2)这时可以直接提交作业,节省了申请和分配资源的开销
1.2 优缺点总结
(1)该模式下所有job共享这些固定的资源,而且作业之间不能隔离,会出现资源竞争的情况。
(2)当一个TM发生故障,那么所有在这个节点上的job都会失败。
(3)当提交的作业越来越多时,JM的负载会越来越高。
1.3 适用场景
适合部署一些运行时间短,对延迟性要求不高的任务。
2.Per-Job mode
2.1 流程
每个Job提交到Yarn上,都会形成独立的flink集群,即拥有自己独立的JobManager和TaskManager。