【每周论文】Sparrow:Distributed, Low Latency Scheduling

Sparrow是针对短作业的分布式调度器,旨在实现高并发和低延迟。与传统单体式调度器不同,Sparrow在集群中分布多个调度器,通过批作业采样和后期绑定策略,优化作业调度效率,减少延迟,提升集群资源利用率。
摘要由CSDN通过智能技术生成

这篇论文发自SOSP 2013,又是AMPLAB的牛文(就是发Spark的那个组)。

一作是Kay Ousterhout,有幸在10月底在上海开的SOSP大会上目睹作者真容,她今年在SOSP斩获两篇文章,已经从 UC Berkeley 毕业了,现在自己创业公司名为Kelda。她在Ada Workshop上分享了自己做学术的这么一个经验,有机会写篇博客分享一下。

以下为正文。

当下的数据分析集群运行越来越多的短作业,这些短作业要求调度器能有很低的延迟、高并发和高吞吐,这一需求也在不断地推动工业界和学术界寻求新的方法。

这里写图片描述

调度毫秒级别的短作业作业对调度器来说是一个巨大的挑战,Sparrow就是在这样的背景下被提出来,其针对于短作业来实现高并发和低延迟。

Sparrow是一个分布式调度器,其不同于现在工业界用的单体式调度器,单体式调度器是整个集群只有一个调度器来处理所有提交的作业,为这些作业分配运行的机器,

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值