Hadoop基础介绍

Hadoop基础知识

一.Hadoop组成：

Hadoop1.x

1.MapReducee（计算+资源调度）
2.HDFS(存储)
3.Common（辅助工具）

Hadoop2.x

1.MapReducee（计算）
2.Yarn（计算）
3.HDFS(存储)
4.Common（辅助工具）

HDFS架构概述

NameNode:

存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限等），以及每个文件的块和块所在的DataNode等。

DataNode:

在本地文件系统存储文件块数据，以及块数据的校验和。

SNN：

用来监控HDFS状态的辅助后台程序，每隔一段时间获得HDFS元数据的快照。

YARN框架概述

ResourceManager:

1）处理客户端请求
2）监控NodeManager
3）启动或监控ApplicationMaster
3）资源的分配和调度

NodeManager：

1）管理单个节点上的资源·
2）处理来自ResoucreManager的命令
3）处理来自ApplicationMaster的命令

ApplicationMaster:

1）负责数据的切分
2）为应用程序申请资源并分给内部的任务
3）任务的监控和容错

Container：

Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，比如分配到的内存，CPU，磁盘和网络等。

Mapreduce架构概述：

Map阶段：

并行处理输入数据

Reduce阶段：

将Map处理的数据进行汇总