学术
文章平均质量分 87
Violet-Guo
努力一直前进的程序猿一枚~~
展开
-
无服务计算的未来和挑战: A Berkeley View on Serverless Computing
本文首发自知乎专栏:https://zhuanlan.zhihu.com/p/82152859转载请注明出处加州大学伯克利分校继 2009 年发布 《The Berkeley View on Cloud Computing》一举拨开云计算迷雾,十年后又一次发布了 《A Berkeley View on Serverless Computing》,试图再次指出下个 10 年云计算的发展方向及...翻译 2019-11-25 20:42:35 · 1711 阅读 · 0 评论 -
数据中心开源数据集及相关论文整理
数据中心开源数据集及相关论文整理近些年,各大公司都开始公开自己集群的数据集,给予学术研究者更广阔的视野来了解数据中心可能面临的情况。以下为整理的部分公司开源的数据集和传送门,会在慢慢的更新。Google传送门:https://github.com/google/cluster-data公开时间:2011年数据集时间跨度:30天Microsoft Azure传送门:https...原创 2019-06-27 20:33:52 · 3747 阅读 · 3 评论 -
谁限制了数据中心的资源使用效率:阿里巴巴数据集分析
Who limits the resource efficiency of my datacenter: an analysis of Alibaba datacenter traces这篇文章发在 IWQoS 2019,是包云岗老师团队的工作,对阿里巴巴 2018 年公布的第二版开源数据进行了详细的分析,主要聚焦在数据中心资源使用效率上。阿里巴巴在 2018 年 12 月公布了其第二版开源...原创 2019-07-01 20:45:52 · 2561 阅读 · 3 评论 -
【每周论文】Bubble-Up: Increasing Utilization in Modern Warehouse[MICRO 2011]
这篇文章来自于MICRO 2011,作者是Jason Mars,传送门来~~随着云计算的发展,越来越多的计算任务移到了云上来进行,运营商常常通过过度分配(overprovisioning)资源的方式来保证延迟敏感型应用的性能,因为没有办法精确预测应用因资源的竞争而产生性能的下降,为了避免干扰也就没有办法将这些高优先级、延迟敏感型应用和其他的作业混合部署起来,就产生了资源的空闲,这样就是导致...原创 2018-08-16 08:53:46 · 867 阅读 · 1 评论 -
HCloud: Resource-Efficient Provisioning in Shared Cloud Systems【ASPLOS 2016】
好久没有写东西了,赶紧保持自己读论文的这个习惯。这篇文章是我开始读论文已来读的第二篇顶会文章,第一篇当然是PARD,这篇文章也是我第一次在组会上讲的文章(都已经是前年的事情了),当时的自己居然是用英文讲的。由记得当时是CC哥哥直接发给我的一篇文章,因为当时的自己连去哪里找文章还不知道,读了特别久还没明白这篇文章的意思,当然当时对整个背景还处于不了解的状态。现在重读这篇文章,对于之前没懂的地方有...原创 2018-07-24 23:57:35 · 1121 阅读 · 1 评论 -
【每周论文】Design patterns for container-based distributed systems(HotCloud 2016)
首先介绍下第一作者Brendan Burns,他2008-2016年在Google工作,是Kubernetes的首席工程师,k8s容器编排的主要创始人之一,他在2016年的7月份宣布加入了Microsoft。第二作者David Oppenheimer,他参与了Google的三大数据中心管理系统的开发——Kubernetes、Omega和Borg的开发,同时也是论文Borg的作者之一。那篇非...原创 2018-03-07 08:53:20 · 1376 阅读 · 0 评论 -
【每周论文】Sparrow:Distributed, Low Latency Scheduling
这篇论文发自SOSP 2013,又是AMPLAB的牛文(就是发Spark的那个组)。一作是Kay Ousterhout,有幸在10月底在上海开的SOSP大会上目睹作者真容,她今年在SOSP斩获两篇文章,已经从 UC Berkeley 毕业了,现在自己创业公司名为Kelda。她在Ada Workshop上分享了自己做学术的这么一个经验,有机会写篇博客分享一下。以下为正文。当下的数据分析集群运行越来越多原创 2017-08-22 16:03:05 · 1080 阅读 · 0 评论 -
集群调度框架的架构演进过程
原文:The evolution of cluster scheduler architectures 作者:Malte Schwarzkopf之前组会上,有幸与大家探讨 Firmament: Fast, Centralized Cluster Scheduling at Scale 这篇文章(OSDI 2016),文章的作者同时发表了一篇博文,讲述了集群中调度框架的演进过程,读...翻译 2017-07-21 09:39:12 · 6152 阅读 · 0 评论 -
【每周论文】Paragon: QoS-Aware Scheduling for Heterogeneous Datacenters
还是关于集群调度的文章,发表在ASPLOS 2013,作者是斯坦福大学的Christina Delimitrou和Christos Kozyrakis,这一年真的没少看他们的文章。该文章依旧是在数据中心下如何保障应用性能和提高资源利用率的大背景下的文章,其主要关注于两点,数据中心中硬件平台的异构性和应用负载之间的干扰。硬件平台的异构性主要是因为数据中心的机器是在不断的更新中的,比如3年前进的一批机原创 2017-10-01 18:06:07 · 1062 阅读 · 0 评论 -
【每周论文】Apollo: Scalable and Coordinated Scheduling for Cloud-Scale Computing
依旧是关于集群作业调度的文章,发表在OSDI 2014,是微软的工作。与之前看的中心化调度工作不同,Apollo与Sparrow一样采用了分布式框架,并且和Omega一样采用了共享集群状态的方式让每个调度器都拥有全局视角。最重要的是Apollo已经部署在微软的生产环境上了,每天都要对数十亿个作业进行合理的调度,其性能肯定没得说了。以微软当时的并行计算的生产环境为例,每个集群有超过2万台服务器,有成千原创 2017-10-08 14:24:08 · 1668 阅读 · 0 评论 -
【每周论文】Quasar: Resource-Efficient and QoS-Aware Cluster Management
记得从去年第一次在组会上讲论文时讲了Christina Delimitrou的HCloud论文后,陆陆续续的一直在读她的论文,并在今年4月份的ASPLOS和她有了一张合影(当时我心里的那个忐忑啊,想和她搭讪又不敢)。这篇论文发表自2014年的ASPLOS(这些年她好像每年都会中一篇ASPLOS,膜拜),依旧是关于数据中心非常棘手的一个问题:现在数据中心的成本都非常高,各大厂商都在努力提高集群的性能和原创 2017-09-11 00:23:26 · 1540 阅读 · 2 评论 -
【每周论文】Xen and the Art of Virtualization
这篇论文发表自SOSP 2013,出自剑桥大学计算技术实验室。在当时一台物理机的成本很高,为了提高机器的资源利用率,一台物理机上通常会运行着好多程序,当其中有一个程序导致了机器崩溃会影响到在其上运行的其他程序,所以就有人提出来,将一台物理机通过一些技术将其分割为很多台机器来为不同的应用提供服务,这就是虚拟化技术。现在已经有了很多虚拟化基础来对物理机的资源进行切分,有一些需要专门的硬件支持,有一些则不原创 2017-09-17 15:03:39 · 1811 阅读 · 0 评论 -
【每周论文】Heracles: Improving Resource Efficiency at Scale(ISCA 2015)
这篇文章发表在ISCA 2015,其中一作 DAVID LO 2015年毕业于斯坦福大学,是Christos Kozyrakis的学生,毕业之后去了Google的Platforms team,这个工作就是他在Google实习期间做出来的工作。各大公司为了提高自己数据中心的资源利用率,常常将延迟敏感型应用(latency-critical,LC)和其他应用(best-effort,BE)混合...原创 2017-09-03 16:24:40 · 1571 阅读 · 0 评论 -
【每周论文】Time, Clocks, and Ordering of Events in a Distributed System
这篇文章是Leslie Lamport于1978年发表的,并在2007年被选入SOSP的名人堂,被誉为第一篇真正的“分布式系统”论文,该论文曾一度成为计算机科学史上被引用最多的文章。文章的作者Lamport享有分布式计算原理之父的美誉,并且因其对分布式系统研究作出的卓越贡献,2013年他被授予了图灵奖。在分布式系统中的时钟同步是一个非常难的问题,因为在分布式系统中,是使用消息进行通信的,若使用物理时原创 2017-08-20 17:18:29 · 1661 阅读 · 0 评论 -
【每周论文】Graphene: Packing and Dependency-aware Scheduling for Data-Parallel Clusters(OSDI 2016)
【每周论文】Graphene: Packing and Dependency-aware Scheduling for Data-Parallel Clusters(OSDI 2016)论文的一作Robert Grandl在OSDI 2016斩获两篇论文,非常的高产,这里先介绍他其中的一篇论文,关于集群调度有关的。作者提出了一个全新的集群调度器——Graphene,它主要用于调度那些有很复杂的依赖原创 2017-08-16 15:03:54 · 1465 阅读 · 0 评论