Hadoop学习第一天

1.1 Hadoop 是什么

（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构
（2）主要解决海量数据的存储和海量数据的分析计算问题
（3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈

 2.1

HDFS 架构概述  
Hadoop Distributed File System ，简称 HDFS ，是一个分布式文件系统
（1 ） NameNode （ nn ）：存储文件的 元数据 ，如 文件名，文件目录结构，文件属性 （生成时间、副本数、
文件权限），以及每个文件的 块列表 和 块所在的 DataNode 等。
（2 ） DataNode(dn) ：在本地文件系统 存储文件块数据 ，以及 块数据的校验和 。
（3 ） Secondary NameNode(2nn) ： 每隔一段时间对 NameNode 元数据备份 。
简单的说就是NameNode就相当于一个目录，一个索引，负责标记每一个DataNode的存放位置
而DataNode才是真正存放数据的， Secondary NameNode(2nn) ：相当与老板的一个秘书，他会备份 一部分 数据，不会备份全部数据。

2.2 

YARN 架构概述

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。

2.3

MapReduce 架构概述  
MapReduce 将计算过程分为两个阶段： Map 和 Reduce
（1 ） Map 阶段并行处理输入数据
（2 ） Reduce 阶段对 Map 结果进行汇总