Omega:flexible,scalable schedulers for large compute clusters论文理解

摘要：
问题：当下中央单一调度方式很难满足规模迅速增长和需求变更快速响应的需要
带来的后果：限制了新特性的部署、降低了效率和可用性，最终会限制集群的发展
解决方法：论文提出了并发、共享状态和乐观锁并发控制来满足这些需求
实验方法：将该方法与现存的集群调度设计相比较，提出他们可能存在的问题和解决方法，最终证明我们的方法的优势。
1.Introduction
大规模的计算集群是很昂贵的，所以充分利用它们很有必要。有用性和效率可以增加在同一台机器的负载量。整体设计减少了硬件的工作量，但是却是得调度问题更加复杂化：需要考虑变化的需求和方案，同时集群和负载持续增长，当负载接近于集群的大小时，调度程序会成为瓶颈。

Figure 1 中，中央单一调度程序为所有任务提供单一的、集中化的调度算法，两层调度器有一个活动的资源管理器，可以为多个平行的调度框架提供计算资源。但是这两种方式并不能满足我们的需要，第一种方式在添加新的策略会比较困难，并且不能把集群增加到我们计划的大小。第二种方式虽然提供了灵活性和并行性，但是他们对于资源的可见性和锁算法并不是很理想，很难防止有特殊要求的任务，不能查看整个集群的状态。我们的方法是Omega的方案是围绕着资源状态共享的思想，多个并发的调度进程以乐观锁的方式访问这些共享状态来获得调度框架的可扩展性。
1.1 贡献
本论文要讨论的要点包括：
1.为集群调度开发提供轻量级的选择空间
2.介绍一种基于乐观锁和共享状态的新型调度方法
3.采用模拟和合成的负载来对比三种方法
4.更进一步探索贡共享状态方式
5.通过一个案例展示共享状态的灵活性
2.Requirement
集群调度要满足的目标：硬件资源的高利用率、用户定义调度策略、快速调度决策过程以及兼顾各种层面的公平调度
2.1负载不均匀性
在大型计算集群中，硬件和负载的不均匀性是很常见的。为了展示，我们选取了谷歌中三个有代表性的集群，集群A是中等规模的集群，业务很繁忙；集群B是大