本文详细介绍了Flink在YARN上的部署，包括yarn-cluster模式、session HA模式和per-job模式。重点阐述了session HA模式的工作原理，强调其适合作业少、执行快的场景，并提供了配置、启动、作业提交、HA切换检测及程序停止的操作步骤。最后，讨论了per-job模式适用于作业多、运行时长不固定的情况。
1、yarn cluster 模式部署介绍
mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。
flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图：
2、flink session HA模式
需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，那下一个作业才会正常提交。
适合场景：
当作业很少并且都较小，能快速执行完成时，可以使用。否则一般不会使用该模式。
这种模式，不需要做任何配置，直接将任务提价到yarn集群上面去，我们需要提前启动hdfs以及yarn集群即可。
两个进程：
运行yarn-session的主机上会运行FlinkYarnSessionCli和YarnSessionClusterEntrypoint两个进程。
在yarn-session提交的主机上必然运行FlinkYarnSessionCli，这个进场代表本节点可以命令方式提交job，而且可以不用指定-m参数。
YarnSessionClusterEntrypoint进场代表yarn-session集群入口，实际就是jobmanager
最低0.47元/天 解锁文章
2426
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
