走在前往架构师的路上

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

YARN基于IO资源的隔离调度

前言 众所周知,目前YARN所支持的资源类型主要有2两大类:内存和CPU.但是其实对于操作系统层面,还有一个重要的资源是没有被YARN考虑在内的,就是IO资源,这里的IO资源你可以理解为比如说存储空间的容量,但是它其实也可以有其它的含义。目前YARN这种不考虑IO资源状况的调度方式,会造成有...

2018-08-28 13:30:31

阅读数:320

评论数:0

Yarn支持队列内多优先级应用调度

前言 在上篇文章中,笔者刚刚阐述过Yarn队列的多优先级调度策略,不同的队列分配不同的优先级等级,这样提交到优先级高的队列上的应用能被优先被处理。但是又一个问题来了,如果我们又想在同一个队列内,对应用的优先级再次进行划分呢?而不是按照纯粹提交时间来进行先后顺序调度。答案是可行的,本文笔者来简...

2018-08-23 00:22:15

阅读数:180

评论数:0

基于Hadoop YARN之上的PaaS构想

前言 在Hadoop YARN发展早期,社区曾经讨论过在YARN之上提供Paas服务。当时业界已经有很多企业提供付费模式的Paas服务,作为当时已经被大量使用在公司企业内部的Hadoop系统,自然我们可以提出这样一个大胆的想法;为什么不可以在YARN之上构建Paas云服务呢?不过遗憾的是,这...

2018-08-19 10:49:07

阅读数:249

评论数:0

YARN队列优先级分配策略

前言 在YARN早期的队列分配策略中,系统采用的是相对直接简单的办法:按照相对使用率选择。简单地来说,就是选择相对使用率最低的队列,然后把应用提交那个队列上。但是这种简单直接的做法,有的时候也会暴露出它的弊端。本文笔者来聊聊这个话题以及对应的一个优化分配策略。 按相对使用率分配策略的弊端 ...

2018-08-13 22:54:28

阅读数:791

评论数:0

提示
确定要删除当前文章?
取消 删除