Hadoopd的体系架构

HDFS架构

 

• NameNode，元数据，消耗资源
• DataNode，保存数据
• Secondary NameNode，定期备份NameNode

YARN架构

 

 

工作流程：

• client提交任务，像ResourceManager（RM）发出申请，整个集群能干多少事，RM负责
• RM找到有空的Node Manager（NM）, 每个Node Manager分管单个节点上的资源，NM还能干多少事需要给RM汇总
• NM接洽client， 找来（新建）项目负责人，App Master（AM），AM负责项目跟进，AM为了完成项目需要多少资源需要向RM申请
• RM从所有NM中找到空闲资源交给该AM管理
• 需要注意，一个NM下的任务是多个的，所以有多个AM，同时，每个AM得到的资源可以来自多个NM

 

MR的架构

 

其实这个只是一种计算思想，切分任务map，合并reduce

大数据生态体系

 

 

基于hadoop发展出来的生态体系。

• 不同数据被不同方式的系统处理
• 由YARN调度资源
• 任务处理分为离线和实时，同时也是不同框架负责
• 数据计算之上就是任务调度以及顶层的业务层面
• 所有框架之间的协调者，zookeeper