1.ResourceManager主要作用:
处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
资源分配与调度
2.NodeManager主要作用:
单个节点上的资源管理和任务管理
接收并处理来自resourceManager的命令
接收并处理来自ApplicationMaster的命令
管理抽象容器container
定时向RM汇报本节点资源使用情况和各个container的运行状态
3.ApplicationMaster主要作用:
数据切分
为应用程序申请资源
任务监控与容错
负责协调来自ResourceManager的资源,
开通NodeManager监视容的执行和资源使用(CPU,内存等的资源分配)
4.Container主要作用:
对任务运行环境的抽象
任务运行资源(节点,内存,cpu)
任务启动命令
任务运行环境
5.JobHistoryServer主要作用:
这是yarn提供的一个查看已经完成的任务的历史日志记录的服务,
我们可以启动jobHistoryServer来观察已经完成的任务的所有详细日志信息
6.TimeLineServer主要作用:
hadoop2.4.0以后出现的新特性,主要是为了监控所有运行在yarn平台上面的
所有任务(例如MR,Storm,Spark,HBase等等)
7.调度器
1.FIFO Scheduler (队列调度器)
2.capacity scheduler(容量调度器,apache版本默认使用的调度器)
3.Fair Scheduler(公平调度器,CDH版本的hadoop默认使用的调度器)