Hadoop基础组件

Hadoop

MapReduce 计算

MapReduce 把任务分为两阶段，即Map 阶段 和 Reduce 阶段

Yarn 资源调度

• Resource Manger(RM 整个YARN集群的管理)

  1. 处理客户端请求
  2. 监控NodeManager
  3. 启动或监控ApplicationMaster

• NodeManager(NM 单台节点的关联)

  1. 管理单个节点上的资源
  2. 处理来自ResourceManager的命令
  3. 处理来自ApplicationMaster的命令

• ApplicationMaster（AM 每个任务的管理）临时角色

  1. 负责数据的切分（分块）
  2. 为应用程序申请资源并分配内部任务
  3. 任务的监控和容错

• Container 临时角色

  Container 是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存，CPU,磁盘，网络等，Yarn的任务运行在Container 中

HDFS 数据存储

• NameNode(nn)

  存储文件的元数据（如文件名，文件目录结构，文件属性，块列表和DataNode等）

• DataNode(dn)

  在本地文件系统存储文件块数据,以及块数的校验和

• Secondary NameNode(2nn)

  每隔一段时间对NameNode元数据备份

Common 辅助工具