Hadoop架构

Hadoop1.x

hadoop 1.x :由hdfs(分布式文件存储系统)与MapReduce(分布式计算框架)组成

HDFS节点:
1. namenode(主节点)
负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据, 例如:文件路径,创建时间等).
2. secondarynamenode(辅助节点)
负责辅助namenode管理元数据
3. datanode(从节点)
负责存储具体的数据, 负责数据的读写操作.

MapReduce节点:
1. jobtracker(主节点)
负责分配和管理资源, 负责任务的接收,分配和监控.
2. tasktracker(从节点)
负责具体任务的执行

Hadoop 2.x

hadoop 2.x :由hdfs(分布式文件存储系统)与yarn集群构成,严格来说,此时已经没有MapReduce集群的概念了,它只是一个组件,用来执行具体的任务.

HDFS节点:
1. namenode(主节点)
负责管理整个HDFS集群,维护和管理元数据(用来描述数据的数据, 例如:文件路径,创建时间等).
2. secondarynamenode(辅助节点)
负责辅助namenode管理元数据
3. datanode(从节点)
负责存储具体的数据, 负责数据的读写操作.

Yarn节点:
1. resourcemanage(主节点)
负责资源的分配,任务的接收
2. appmaster(进程)
负责任务的分配, 他是运行在nodemanager上的
3. nodemanager(从节点)
负责具体任务的执行