hadoop0.23版本中,出现了YARN,即MapReduce2.0版本。
与原来mapreduce的明显的差别有:
1. 将jobtracker的两个功能:资源管理和作业调度/监视,分割成几个单独的守护进程。
这样就会有一个全局的资源管理器RM,及很多单独的应用程序控制点ApplicationMaster在每个节点上
资源管理器、每个子节点、节点管理器,就形成了数据计算的框架。资源管理器会协调管理系统中所有的资源。
而每个应用程序作业的AM,会执行和监视任务,并从资源管理器获取资源,并同节点管理器协同工作。其实际上是一个特定的库、框架。
全局资源管理器RM,可以再细分为:调度器、应用程序管理器
调度器的职责是:给各种执行的程序分配资源,它抽象出了资源容器container这样一个概念,其中包括内存、CPU、硬盘、网络等。
应用程序管理器的职责是:跟踪监视程序状态、是否重启失败的程序等。并为应用程序协调到第一个container
节点管理器NM:是每个机器节点的管理程序,其职责包括每个节点的容器,资源使用情况,并报告给资源管理器/调度器。
每个应用程序控制点App Mstr:为调度器协调资源,并跟踪和监视整个程序的状态
MRV2兼容 先前的稳定版hadoop-0.20.205。
参考:http://hadoop.apache.org/docs/r0.23.7/hadoop-yarn/hadoop-yarn-site/YARN.html