YARN框架
Yarn是资源管理框架,其核心思想是把JobTracker的资源管理和作业调度分开,分别由ResourceManager和ApplicationMaster进程实现
Yarn的4大核心组件分别为ResourceManager、NodeManager、ApplicationMaster和Container
(1) ResourceManager(RM):控制集群并管理应用程序对基础资源的分配。
总体而言RM具有以下特征:
1)处理客户端请求
2)启动或监控ApplicationMaster
1) 监控NodeManager
2) 资源的分配与调度
(2) ApplicationMaster(AM):管理在Yarn内运行的每个应用程序实例
总体而言AM具有以下特征:
1)负责数据的切分
2)为应用程序申请资源并分配给内部的任务
1) 任务的监控与容错
(3) NodeManager(NM):管理Yarn集群中的每个节点
总体而言NM具有以下特征:
1) 管理每个节点的资源
2) 处理来自ResourceManager的命令
3) 处理来自ApplicationMaster的命令
(4) Container:对Yarn中资源的抽象
总体而言