Hadoop的优势与组成

1.Hadoop的优势

• 高可靠性: Hadoop底层维护多个数据副本,所以即使hadoop某个计算元素或存储出现故障,也不会导致数据的丢失.

• 高扩展性:在集群间分配任务数据,咳方便的扩展数以千计的节点.

• 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度.

• 高容错性:能够自动将失败的任务重新分配.

2.Hadoop的组成

HDFS架构概述

• NameNode(nn)
  :存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等;
• DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和;
• Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份.

YARN架构概述:

MapReduce架构概述
MapReduce将计算过程分为两个阶段：Map和Reduce
1）Map阶段并行处理输入数据
2）Reduce阶段对Map结果进行汇总