YARN学习总结-第五节-YARN保留系统

Reservation System

YARN提供保留系统,允许用户提前或者设置保留资源给重要作业。通过绝对数值的形式指定代替百分比。保留系统是一个YARN ResourceManager的组件。

保留系统工作流程

YARN Reservation System | width=600px
图片来自互联网,链接地址:http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ReservationSystem.html

0.用户提交一个保留创建请求,返回一个ReservationId

1.用户提交一个用RDL(Reservation Definition Language)表示的规格文件和ReservationId组成的保留请求。这个文件描述了用户需要resource over-time和temporal constraints

2.保留系统会启动一个客户端去查找合理的资源分配。一般是通过一个计划,计划是一个数据结构,描述了当前已经接受的保留和可获得的资源。

3.SharingPolicy提供一种方式去接受或者拒绝保留。

4.成功验证后,会返回用户一个ReservationId

5.到一定时间,一个新的组件PlanFollower推送计划的状态给调度器。

6.用户可以提交一个作业到保留队列,可以明确指定保留Id作为提交上下文的一部分。

7.调度器提供一个容器去报资源保留。

8.系统同时提供一个机制去适配或者丢弃集群容量。

配置保留系统

目前,系统提供容量调度器和公平调度器配置保留系统,具体配置可以参考相应的调度器配置。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值