1.1 Hadoop 是什么
(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构
(2)主要解决海量数据的存储和海量数据的分析计算问题
(3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈
2.1
HDFS 架构概述
Hadoop Distributed File System ,简称 HDFS ,是一个分布式文件系统
(1 ) NameNode ( nn ):存储文件的 元数据 ,如 文件名,文件目录结构,文件属性 (生成时间、副本数、
文件权限),以及每个文件的 块列表 和 块所在的 DataNode 等。
(2 ) DataNode(dn) :在本地文件系统 存储文件块数据 ,以及 块数据的校验和 。
(3 ) Secondary NameNode(2nn) : 每隔一段时间对 NameNode 元数据备份 。
简单的说就是NameNode就相当于一个目录,一个索引,负责标记每一个DataNode的存放位置
而DataNode才是真正存放数据的, Secondary NameNode(2nn) :相当与老板的一个秘书,他会备份 一部分 数据,不会备份全部数据。
2.2
YARN 架构概述
Yet Another Resource Negotiator 简称 YARN ,另一种资源协调者,是 Hadoop 的资源管理器。
2.3
MapReduce 架构概述
MapReduce 将计算过程分为两个阶段: Map 和 Reduce
(1 ) Map 阶段并行处理输入数据
(2 ) Reduce 阶段对 Map 结果进行汇总