yarn原理_Flink on Yarn–Per Job 与 Yarn–Session原理及区别

本文深入探讨了Flink在Yarn上的两种运行模式——Per Job和Session模式,详细解释了Yarn架构原理,包括ResourceManager、ApplicationMaster和NodeManager的角色。Per Job模式在任务完成后释放资源,适合长任务;Session模式资源持久存在,适用于批处理任务,提高了资源利用率。
摘要由CSDN通过智能技术生成

导读:Flink集群部署的方式有多种,如Flink Standalone、Flink on Yarn、Flink on Kubernetes等。其中Flink on Yarn又分为Yarn–Per Job模式与Yarn–Session模式。本文主要讨论关于Flink on Yarn–Per Job 与 Yarn–Session原理及区别,目录如下:

  • yarn 架构原理-总览
  • yarn 架构原理-组件
  • yarn 架构原理-交互
  • Flink on Yarn–Per Job
  • Flink on Yarn–Session

Yarn 架构原理–总览

首先介绍一下 Yarn 的架构原理,因为只有足够了解 Yarn 的架构原理,才能更好的知道 Flink 是如何在 Yarn 上运行的。

221e8c841785f5fd4e3d36cedadb019a.png

Yarn 的架构原理如上图所示,最重要的角色是 ResourceManager,主要用来负责整个资源的管理,Client 端是负责向 ResourceManager 提交任务。

用户在 Client 端提交任务后会先给到 Resource Manager。Resource Manager 会启动 Container,接着进一步启动 Application Master,即对 Master 节点的启动。当 Master 节点启动之后,会向 Resource Manager

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值