2021-04-12

hadoop的组成（大厂面试重点）

1.首先比较下Hadoop1.x和Hadoop2.x的区别

Hadoop2.x和Hadoop3.x的结构相同

2. HDFS架构概述

三部分组成

1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

3）Secondary NameNode(2nn)：每隔一段时间对NameNode数据备份。

3. YARN架构概述

四部分组成

1）ResourceManager(RM)主要作用如下

（1）处理客户端请求

（2）监控NodeManager

（3）启动或者监控ApplicationMaster

（4）资源的分配与调度

2）NodeManager(NM)主要作用如下

（1）管理单个节点上的资源

（2）处理来自ResourceManager的命令

（3）处理来自ApplicationMaster的命令

3）ApplicationMaster(AM)作用如下

（1）负责数据的切分

（2）为应用程序申请资源并分配给内部的任务

（3）任务的监控与容错

4）Container

​ Container是YARN中的资源抽象，它封装了某个子节点上的多维度资源，如内存、CPU、磁盘、网络等。

4. MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce

1）Map阶段并行处理输入数据

2）Reduce阶段对Map结果进行汇总