YARN:下一代MapReduce的架构

hadoop0.23版本中,出现了YARN,即MapReduce2.0版本。


与原来mapreduce的明显的差别有:

1. 将jobtracker的两个功能:资源管理和作业调度/监视,分割成几个单独的守护进程。

这样就会有一个全局的资源管理器RM,及很多单独的应用程序控制点ApplicationMaster在每个节点上


资源管理器、每个子节点、节点管理器,就形成了数据计算的框架。资源管理器会协调管理系统中所有的资源。

而每个应用程序作业的AM,会执行和监视任务,并从资源管理器获取资源,并同节点管理器协同工作。其实际上是一个特定的库、框架。



全局资源管理器RM,可以再细分为:调度器、应用程序管理器

调度器的职责是:给各种执行的程序分配资源,它抽象出了资源容器container这样一个概念,其中包括内存、CPU、硬盘、网络等。

应用程序管理器的职责是:跟踪监视程序状态、是否重启失败的程序等。并为应用程序协调到第一个container


节点管理器NM:是每个机器节点的管理程序,其职责包括每个节点的容器,资源使用情况,并报告给资源管理器/调度器。

每个应用程序控制点App Mstr:为调度器协调资源,并跟踪和监视整个程序的状态


MRV2兼容 先前的稳定版hadoop-0.20.205。


参考:http://hadoop.apache.org/docs/r0.23.7/hadoop-yarn/hadoop-yarn-site/YARN.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值