yarn当中各个主要组件的作用及调度器

1.ResourceManager主要作用:

	处理客户端请求
	启动/监控ApplicationMaster
	监控NodeManager
	资源分配与调度

2.NodeManager主要作用:

	单个节点上的资源管理和任务管理
	接收并处理来自resourceManager的命令
	接收并处理来自ApplicationMaster的命令
	管理抽象容器container
	定时向RM汇报本节点资源使用情况和各个container的运行状态

3.ApplicationMaster主要作用:

	数据切分
	为应用程序申请资源
	任务监控与容错
	负责协调来自ResourceManager的资源,
	开通NodeManager监视容的执行和资源使用(CPU,内存等的资源分配)

4.Container主要作用:

   对任务运行环境的抽象
   任务运行资源(节点,内存,cpu)
   任务启动命令
   任务运行环境

5.JobHistoryServer主要作用:

这是yarn提供的一个查看已经完成的任务的历史日志记录的服务,
我们可以启动jobHistoryServer来观察已经完成的任务的所有详细日志信息

6.TimeLineServer主要作用:

hadoop2.4.0以后出现的新特性,主要是为了监控所有运行在yarn平台上面的
所有任务(例如MR,Storm,Spark,HBase等等)

7.调度器

1.FIFO Scheduler (队列调度器)
2.capacity scheduler(容量调度器,apache版本默认使用的调度器)
3.Fair Scheduler(公平调度器,CDH版本的hadoop默认使用的调度器)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_44352020

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值