Hadoop概要

Hadoop概要

一、Hadoop简介

1.Hadoop是Apache基金会所维护的分布式系统的基础框架

2.主要解决海量的数据存储和海量的数据分析计算问题

3.广义上来说,Hadoop通常是指一个更加广泛的概念–Hadoop生态圈

二、Hadoop优势

1.高可靠性:其底层维护多个数据副本,所以即使其中某个计算元素或存储出现故障,也不会导致数据的损失

2.高扩展性：在各个集群间分配任务数据,可以方便扩展

3.高效性：在MapReduce的思想下,Hadoop是并行工作的，可以加快任务的处理速度

4.高容错性：能够自动将失败的任务重新分配

三、Hadoop组成

这里所说的是Hadoop2.x

MapReduce(计算)

Yarn（资源调度）

HDFS(数据存储)

Common(辅助工具)

1.HDFS架构

**1>NameNode(NN)：**存储文件的元数据，如文件名，文件目录，文件属性，以及每个文件的块列表和所在的DataNode等.

**2>DataNode(DN)😗*在本地文件系统存储文件块数据,以及块数据的校验和.

**3>Secondary NameNode(2NN)😗*用来监视HDFS状态的辅助后台程序.

2.YARN架构

调度内存和CPU 资源池 多个机器资源做统一调度

1>RecouceManger (RM):

​ (1)处理客户端请求的作业提交

​ (2)监控NodeManger

​ (3)启动或监控ApplicationMaster

​ (4)资源的分配和调度

2>NodeManger(NM):

​ (1)管理单个节点上的资源(管理自己机器的资源，并把信息报给RM)

​ (2)处理来自RM的命令

​ (3)处理来自AM的命令

3>ApplicationMaster(AM):

​ (1)负责数据的切分

​ (2)为应用程序申请资源并分配给内部任务(跑任务时的推进者，由AM估算客户端任务需要多少资源，然后向RM申请资源，RM告诉每个NM执行启动Container，RM以Container形式划分给AM，AM再进行资源的处理)

​ (3)任务的监控与容错

4>Container:

​ 是Yarn上的资源抽象，封装了某个节点上的维度资源，如内存，cpu，网络等.(单位,一种容器)

3.MapReduce架构

MapReduce将计算分为两个阶段,Map和Reduce.

​ (1)Map阶段并行处理输入的数据.

​ (2)Reduce阶段对Map结果进行汇总.