Hadoop组成（学习笔记）

• HDFS架构概述

1. NameNode:存储文件元数据(文件名、文件目录结构、文件属性<生成时间、副本数、文件权限>)，以及每个文件的块列表和块所在的DataNode。
2. DataNode:在本地文件系统存储文件块数据，以及块数据的校验和。
3. Secondary NameNode:每隔一段时间对NameNode元数据备份。

• YARN架构概述

1. ResourceManager(RM)：整个集群资源（内存、CPU等）的老大
2. NodeManager(NM)：单个节点服务器资源老大
3. ApplicactionMaster(AM)：单个任务运行老大
4. Container：容器，相当一台独立的服务器，里面封装了任务运行所需要的资源（内存、CPU、磁盘、网络）<虚拟技术>

说明：

1. 客户端可以有多个
2. 集群上可以运行多个ApplicationMaster
3. 每个NodeManager上可以运行多个Container

• MapReduce架构概述

     MapReduce将计算过程分为Map和Reduce两个阶段。

1. Map阶段并行处理输入数据
2. Reduce阶段对Map结果进行汇总

• HDFS、YARN、MapReduce三者关系