Hadoop YARN学习之组件功能简述(3)

Hadoop YARN学习之组件功能简述(3)

1. YARN的三大组件功能简述:

  • ResourceManager(RM)是集群的资源的仲裁者,
    • 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业。
  • NodeManager,位于每个节点上,管理该节点上用户作业和工作流。
  • ApplicationMaster,用户作业生命周期管理者。
    • 是用户应用程序驻留的地方。

2. 三大组件构成了一个可扩展的、灵活的、高效的环境,来运行各种类型的大数据处理作业。

3. 组件功能协作简述

  • ResourceManager动态的分配特定节点来运行应用程序。
  • Container是绑定到特定集群节点的一组资源逻辑组合(如内存、核)
  • 为了执行和跟踪这些资源分配,ResourceManager与运行在每个节点上的NodeManager进程交互。
  • 基于可扩展性的需求,ResourceManager和NodeManager之间通过心跳来通信。
  • NodeManager负责本地可以资源的监控,故障报告以及Container生命周期的管理(如杀死和启动作业)。ResourceManager依赖NodeManager来维护集群的全局视图。

4. YARN调度组件

  • YARN有一个可插拔的调度器组件,根据不同的使用场景和用户需求,管理员可以选择简单的FIFO(先进先出),Capacity或者Fair Share Schedule。

    • FIFO先进先出
    • Capacity,允许多个组安全地共享一个大规模Hadoop集群。
    • Fair,公平调度器是将资源公平分配给应用的方法,使得所用在平均情况下随着时间的到相等的份额。
      • YARN Fair的新特性支持层次化队列。
    • YARN默认为Capacity调度组件

5. 在YARN中,MapReduce不再是工作流中的一部分,因为它只是一种ApplicationMaster控制的应用程序框架,在YARN环境下,其他框架已经可以使用或者正在开发中。

转载于:https://www.cnblogs.com/lanzhi/p/6467765.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值