分布式系统
下木
关注分布式计算,操作系统以及计算机体系结构. 微博:http://weibo.com/u/2120698533
展开
-
【系列】Matei Zaharia(Spark系统作者)博士论文-0 摘要
随着处理器提升速度下降和数据量的不断增长,很多公司和组织(既有互联网公司也有传统的企业还有一些研究机构)都要求他们的应用能够Scale out到更大的分布式系统上(比如整个数据中心)。这些应用又分为以下几种类型:原创 2014-08-05 17:12:02 · 1351 阅读 · 0 评论 -
【系列】Matei Zaharia(Spark系统作者)博士论文-1 引言
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求,越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中,可编程性方面将遇到以下几个挑战: 并行编程问题;为了将应用并行化,需要并行编程模型的支撑。容错和慢节点问题;当集群规模相当大时,这个问题也是非常严重的。多用户共享集群要求能具备弹性计算的能力,此外还要考虑干扰问题。结果就是出现了很多编程模型,首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载,于是就出现了各种各样专用的编程模型:原创 2014-08-06 14:49:19 · 2885 阅读 · 0 评论