hadoop基础理论

一、Hadoop的组成

1、Hadoop=

MapReduce（计算）+Yarn（资源调度）+HDFS（数据存储）+Common

（1）HDFS=

1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

（2）YARN=

1）ResourceManager（RM）：整个集群资源（内存、CPU等）管理
3）ApplicationMaster（AM）：单个任务运行管理
2）NodeManager（N M）：单个节点服务器资源管理
4）Container：容器，相当一台独立的服务器，里面封装了
说明1：客户端可以有多个
说明2：集群上可以运行多个ApplicationMaster
说明3：每个NodeManager上可以有多个Container

（3）MapReduce

MapReduce 将计算过程分为两个阶段：Map 和 Reduce
1）Map 阶段并行处理输入数据
2）Reduce 阶段对 Map 结果进行汇总