Apache Hadoop 2.0.5-alpha 相对前版本的改进

 

Apache Hadoop 2.0.5-alpha  相比以前发布的稳定版本有了显著的改进。

下面是一个简短的概述,包含分布式文件系统(Hadoop Distributed File System)和MapReduce方面的改进。

 

HDFS 联合

 

        为了横向地测量命名服务的,federation采用多重独立的命名节点/命名空间

 

        这些命名节点是federated的，这意味着，这些命名节点是独立的，而且不要求与其他命名节点协同工作。数据节点作为块的公共存储器被所有命名节点使用。在cluster中，每一个数据节点被注册到所有的命名节点上。数据节点会定期发送心跳和块报告到命名节点，并处理来自命名节点的命令。

 

        更多详情，见 HDFS Federation 文档。

 

 

下一代MapReduce ，又称YERN，又称MRv2

 

         在hadoop-0.23中引入的新架构，把JobTracker的两大主要功能（资源管理和任务生命周期管理）分到了不同的组件中。

 

         新的资源管理者管理应用程序需要的全局计算机资源的分配，每个应用程序的主人管理着这个应用程序的调度和协调。

 

         一个应用程序要么是上一代MapReduce任务意义上的一个单独的任务，要么是一打这样的任务。

 

        一个资源管理者和每台机器的节点管理者守护进程，管理着那台机器上的用户进程，形成计算载体。

 

        每个应用程序的主人，实际上是一个特定的框架库，并负责与资管管理者交互且与节点管理者协同工作，执行和监控任务。

 

        更多详情，见YARN文档。

 

原英文文档：http://hadoop.apache.org/docs/r2.0.5-alpha/