Yarn(分布式资源管理与任务调度框架)介绍

Apache Hadoop YARN(Yet Another Resource Negotiator)是Hadoop中的资源管理和任务调度框架。它将JobTracker的职责拆分为ResourceManager和ApplicationMaster,实现资源管理和任务调度的分离。ResourceManager作为Master管理全局资源,NodeManager作为Slave负责节点管理。ApplicationMaster负责向ResourceManager申请资源并在NodeManager上启动任务。YARN采用双层调度架构,以提高调度效率和灵活性。
摘要由CSDN通过智能技术生成

1、Yarn 是什么

  • Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)
  • 作用:资源管理与任务调度

2、架构设计

Yarn 设计的核心思想是将JobTracker 的两个主要职责:资源管理和任务调度管理,分别交给两个角色负责。
一个是全局的ResourceManager,一个是每个应用中唯一的ApplicationMaster。

YARN 总体上仍然是Master/Slave 结构,在整个资源管理框架中,ResourceManager 为Master,NodeManager 为Slave。YARN 主要由ResourceManager、NodeManager、ApplicationMaster 和Container等几个组件构成。 

  • Client 向ResourceManager 提交启动任务、杀死任务等命令请求;
  • ApplicationMaster 由对应的计算框架编写的应用程序完成。每个应用程序对应一个ApplicationMaster, ApplicationMaster 向ResourceManager 申请资源用于在NodeManager上启动相应的Task;
  • NodeManager 向ResourceManager 通过心跳信息汇报NodeManager 监控状况、任务执行状况、领取任务等
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值