导读:Flink集群部署的方式有多种,如Flink Standalone、Flink on Yarn、Flink on Kubernetes等。其中Flink on Yarn又分为Yarn–Per Job模式与Yarn–Session模式。本文主要讨论关于Flink on Yarn–Per Job 与 Yarn–Session原理及区别,目录如下:
- yarn 架构原理-总览
- yarn 架构原理-组件
- yarn 架构原理-交互
- Flink on Yarn–Per Job
- Flink on Yarn–Session
Yarn 架构原理–总览
首先介绍一下 Yarn 的架构原理,因为只有足够了解 Yarn 的架构原理,才能更好的知道 Flink 是如何在 Yarn 上运行的。
Yarn 的架构原理如上图所示,最重要的角色是 ResourceManager,主要用来负责整个资源的管理,Client 端是负责向 ResourceManager 提交任务。
用户在 Client 端提交任务后会先给到 Resource Manager。Resource Manager 会启动 Container,接着进一步启动 Application Master,即对 Master 节点的启动。当 Master 节点启动之后,会向 Resource Manager