Mesos、Omega、Borg(K8S)都是现在工业界中比较流行的集群调度系统。Firemament是OSDI’16发布的集群调度论文,也非常优秀,同时也提供了开源版本。因此这里对这几大调度系统进行一下深入的对比。如有不足或者理解错误的地方,欢迎留言和拍砖
Mesos
Mesos是NSDI发布的集群调度系统,主要面向短作业批处理任务。最核心的贡献我认为是他的两级调度架构,将资源调度和任务调度进行了隔离。轻量级的通用调度架构,保证了很好的可扩展性。
架构
面向日趋多样、快速发展的计算框架,不同的框架都运行在一套集群管理系统中,因此需要一个通用的资源调度框架。在此之前的集群管理调度框架主要是集中式架构。集中式架构的好处当然是能掌握全局的资源状态,能够进行更好的调度决策。但是缺点也很明显。集中式的决策所需的决策时间更长(当然也不一定,要看怎么设计),另外当不同的应用由同一个RM进行调度管理,为了适配不同的应用框架的需求,也要加入对应的各种调度策略,使得RM变得越来越臃肿,可扩展性受到限制。
因此Mesos提出的两级调度策略,将资源调度和任务调度分开。资源调度关注于资源管理ÿ