Hadoop
MapReduce 计算
MapReduce 把任务分为两阶段,即Map 阶段 和 Reduce 阶段
Yarn 资源调度
-
Resource Manger(RM 整个YARN集群的管理)
- 处理客户端请求
- 监控NodeManager
- 启动或监控
ApplicationMaster
-
NodeManager(NM 单台节点的关联)
- 管理单个节点上的资源
- 处理来自ResourceManager的命令
- 处理来自ApplicationMaster的命令
-
ApplicationMaster(AM 每个任务的管理)临时角色
- 负责数据的切分(分块)
- 为应用程序申请资源并分配内部任务
- 任务的监控和容错
-
Container 临时角色
Container 是
YARN
中的资源抽象,它封装了某个节点上的多维度资源,如内存,CPU,磁盘,网络等,Yarn的任务运行在Container 中
HDFS 数据存储
-
NameNode(nn)
存储文件的元数据(如文件名,文件目录结构,文件属性,块列表和DataNode等)
-
DataNode(dn)
在本地文件系统
存储文件块数据
,以及块数的校验和
-
Secondary NameNode(2nn)
每隔一段时间对NameNode元数据备份