Hadoop入门+组成学习笔记

Hadoop学习笔记

Hadoop的优势（4高）

1.高可靠性 —Hadoop底层有多个数副本，保存再不同的服务器里，即使一台计算机出现故障，也不会丢失数据

2.高扩展性 — 可以添加多个节点

3.高效性 — 再MapReduce的思想下，Hadoop 是并行工作的

4.高容错性 —能够自动将失败的任务重新分配

Hadoop1.x 和 2.x组成

Hadoop 1.x 和 2.x 的区别？

Hadoop 1.x里 MapReduce 负责逻辑运算以及资源的调度工作

Hadoop 2.x 里 MapReduce 只负责逻辑运算工作

而增加了 Yarn 来专门负责资源的分配工作

HDFS架构概述-

1.NameNode（nn）：储存文件的元数据（像一些文件名，属性等等）

2.DateNode（dn）：

3.Secondary NameNode ：NameNode的助理，用来监控HDFS状态的程序，每一段时间都会获取HDFS元数据的快照

Yarn 架构概述

主要由Resource Manager，NodeManager，以及ApplicationMaster和Container组成

下面我们先说这两个的作用吧

1.Resource Manager —RM

（1）主要是接受并处理来自客户端的请求

（2）监控NodeManager

（3）启动并监控Application

（4）资源的分配与调度

2.NodeManager —NM

（1）管理本身自己单个节点上的资源

（2）处理来自ResourceManager和ApplicationMaster的命令

MapReduce 架构概述

共分为两个阶段

（1） Map阶段 ----对数据进行分配到每一个Hadoop节点上

（2） Reduce阶段 ----对每一个Hadoop节点的结果进行汇总

数据进行分配到每一个Hadoop节点上

（2） Reduce阶段 ----对每一个Hadoop节点的结果进行汇总

本文一些图片来自尚硅谷课程视频截图