Apache Hadoop 2.3.0

Apache Hadoop 2.3.0由以前稳定的(hadoop-1.x)改善组成。

下面是对HDFS和MapReduce的改善的一个简短的概括。

 HDFS Federation

为了扩展名称服务水平，联合使用多个独立的namenodes或命名空间。Namenodes是联合起来的，也就是说，Namenodes是独立的，不需要协调彼此。通过所有的Namenodes块，datanodes被作为公用的存储。在集群中每一个datanode向所有的Namenodes登记。Datanodes从Namenodes周期性的发送心跳，块报告和处理命令。

MapReduce NextGen aka YARN aka MRv2

在Hadoop-0.2.3中介绍了新的结构，将Job Tracker分成了两大重要的功能：资源管理和任务声明周期管理成为了分离的元件。

ResourceManager管理了计算资源全局分配的应用，每一个应用程成的ApplicationMaster管理应用程序，调度和协调。

  一个应用程序是在经典的MapReduce工作或一个DAG工作意义上的一个单一的工作。

ResourceManager和每台机器的NodeManager守护进程形成了计算结构，他们管理了用户过程。

每次应用ApplicationMaster是一个明确库的框架，他的任务是由ResourceManager和NodeManager工作执行并监控任务的协调资源。