Hadoop架构梳理和生态圈

hadoop 1.x和2.x区别

版本	1.x	2.x
common组件	有	有
hdfs组件	有	有
yarn组件	没有	负责资源调度
map-reduce组件	负责计算和资源调度	负责计算

1.x中map reduce负责计算和资源调度，而在2.x版本中解耦，yarn负责资源调度，map reduce负责计算

hdfs-Hadoop Distributed File System架构

1.NameNode(nn):存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等
2.DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和
3.Secondary NameNode(2nn):用来监控hdfs状态的后台辅助程序，每隔一段时间获取HDFS元数据的快照

YARN架构概述

1.ResourceManager（RM）
处理客户端请求
监控NodeManager
启动或者监控ApplicationMaster
资源的分配和调度
2.NodeManager（NM）
管理单个节点上的资源
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
3.ApplicationMaster（AM）
负责数据的切分
为应用程序申请资源并分配给内部的任务
任务的监控与容错
4.Container
container是yarn中资源的抽象，它封装了节点上的多维度资源：内存、CPU、硬盘网络等

MapReduce架构

MapReduce分为两个阶段，map和reduce
Map阶段并行处理输入的数据
Reduce阶段是对Map输出的结果进行处理