Hadoop基础--HDFS/Yarn/MapReduce概述

HDFS概述==>

1. Hadoop优势(4高)：

1.高可靠性： Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失；

2.高扩展型： 在集群间分配任务数据，可方便的扩展数以千计的节点；

3.高效性： 在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度；

4.高容错性： 能够自动将失败的任务重新分配。

2. Hadoop1.x、2.x、3.x区别：

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。
Hadoop3.x在组成上没有变化。

HDFS架构概述：

1.NameNode(nn)：存储文件的元数据，如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等；
2.DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和；
3.SecondaryNameNode(2nn)：每隔一段时间对NameNode元数据备份。

Yarn架构概述：

Yarn(Yet Another Resource Negotiator)，另一种资源协调者，是Hadoop的资源管理器。

ResourceManager(RM)：管理整个集群资源(内存、CPU等)；
NodeManager(NM)：管理单个节点服务器资源；
ApplicationMaster(AM)：管理单个任务运行；
Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等；

MapReduce架构概述：

MapReduce将计算过程分为两个阶段：Map和Reduce：
1.Map阶段并行处理输入数据；
2.Reduce阶段对Map结果进行汇总；

HDFS/Yarn/MapReduce三者关系：

大数据技术生态体系：