智能调度：Stanford的Quasar

智能、自动化是对系统孜孜不倦的追求，尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法，如DRF,capacity scheduler，fair scheduler。这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路，要求应用提出资源的需求，而在现实中往往是不现实的。不现实在两个方面：

1. job需要的资源和需要处理的数据量，过程的复杂度强相关。而这两者在实际的生产系统中都不是一成不变的，所以往往预留的资源要么多大，要么过小。

2. 单个job实际上本身也是一个复杂的过程，需要的资源也不是一成不变的。所以按理想的状态预留资源往往不现实，带来的最终结果是资源利用率不高。

 

关于智能资源调度方面，我早前写过一篇文章《智能调度与蚁群算法》，提的是设想通过蚁群算法来自动分配资源。最近看到stanford的一篇论文《Quasar: Resource-Efficient andQoS-Aware Cluster Management》，通过简单的分类算法就达到了job资源的预测和自动分配，解决了上面提到的2个资源分配的难题。

首先来看下Quasar的基本思路，基本过程对照上面的图，分下面几步：

1. 1. quasar不是基于资源预留和匹配的模式。Quasar提供一个high-level的接口让用户给调度器描述他性能约束条件。不同类型的workload接口不一样。比如对延迟苛刻的workload，限制条件藐视为QPS(查询次数/秒)。分布式框架，如hadoop，限制条件是执行时间。对于单机里面单线程或者多线程workload，限制条件就是low-level的IPS（每秒执行的指令数）。这个主要取决于以哪种资源分配和制定来满足workload.

   2. Quasar使用快速分类技术去评估不同的资源分配导致不同的workload性能。一个新进的workload和数据集，需要从一些server上采集一段时间（从几秒到几分钟）。这些有限的采集信息和已有的被分类离线的workload、已经被调度过的workload组合起来。分类的结果准确的估计了应用的性能，考虑各种不同的类型和数量的服务器以及单服务的资源量，排除了其他的一些干扰。Quasar将问题分配的简化成四种主要部分 每个节点 和 节点数，分配的服务器类型 和干扰的程度。这大大降低了分类的复杂性问题。

   3. quasar使用分类的结果直接用于资源的分配，消除分配和匹配的二次无效性。quasar使用贪心算法结合四个独立的分类结果，选择数量或具体的资源集，来达到（或接近）的性能约束。Quasar同时监视系统性能。如果在有空闲资源的情况下，约束没有得到满足，即使workload发生了变化（比如job内部阶段变化了）说明分类是不正确的，或贪婪的次优方案到指定结果。只要条件允许Quasar会重新分配资源。

       

 

 

再来看下Quasar达到的效果。

1. Single batch job（纯粹hadoop）：平均提升29%到58%。

2. Multiple Batch Frameworks performance(Hadoop,Storm, and Spark混合)：提升27%。

3. Large-Scale Cloud Provider：从15%的cpu利用率提升到62%,提升47%。

 

Quasar的规模也很小，6K行代码。新增一个应用大概需要几百行即可。

总的来说，Quasar这个是非常好的一个思路，是调度的未来发展方向，是非常值得研究和跟进的技术，有兴趣的同学，可以把论文下载下来好好读读。