hadoop学习笔记(一)

Apache Hadoop 2.1.0-beta

Apache Hadoop 2.1.0-beta版本相比以前的稳定发布版本(hadoop-1.x)，有许多重大的改变。

以下是一个关于HDFS和MapReduce变化的简单概述

• HDFS Federation

          为了可以水平扩展名称服务，联邦制使用多个独立的Namenodes/Namespaces，所有的Namenodes 节点之间是联邦制的，那就是说Namenodes 节点之间是相互独立的并且不需要相互协调通信，数据节点被当成存储文件块的共享存储。每一个数据节点在集群中所有的Namenodes 上注册，Datanodes 周期性的发送心跳和文件块的信息，并且处理来自Namenodes 的命令.

          更多的细节，可以访问HDFS  Federation的文档

• 下一代MapReduce亦称YARN亦称MRv2

          新的体系架构在 hadoop-0.23中引进，新的架构划分了JobTracker的两个只要功能：把资源管理和任务管理分割成两个不同的组件。

          新的ResourceManager统一划分所有的计算资源，每一个应用的 ApplicationMaster管理这个应用的任务调度和监视。

          一个应用程序要么是一个简单的经典MapReduce 工作，要么是一个DAG工作

          ResourceManager和每一台机器上的管理这台机器上的用户进程的后台NodeManager 进程，形成一个计算结构。

          每一个应用程序的ApplicationMaster实际上是一个计算执行框架，负责向ResourceManager索要计算资源，然后向NodeManager分配任务和监视任务。

          更多的细节可以访问YARN文档

起步

Hadoop文档包括一些你刚刚使用hadoop的基础信息，你可以从Single Node Setup看起，这里的信息向你展示怎样起一个单节点的hadoop程序，然后可以移向Cluster setup文档，在这里你可以看到多节点hadoop安装的相关信息。