分布式系统 云计算_分布式系统和云计算的阅读清单

分布式系统 云计算

Understanding the literature is usually the first step to do research, which is the same for systems research on cloud computing. A reading list may help a lot to those that just start in cloud computing research.

了解文献通常是进行研究的第一步，这与云计算的系统研究一样。 阅读列表可能对刚开始进行云计算研究的人员有很大帮助。

Prof. Lin Gu, my PhD supervisor, compiled a reading list for system research on cloud computing. The reading list includes a list of papers related to Internet-scale systems and datacenters, techniques in distributed computing like Paxos, execution frameworks like MapReduce, distributed file systems like GFS, and storage systems like Dynamo. These are very good papers which every one in this area should study.

我的博士生导师林谷教授为云计算系统研究编写了一份阅读清单。 阅读清单包括与Internet规模的系统和数据中心，Paxos这样的分布式计算技术，MapReduce这样的执行框架，GFS这样的分布式文件系统以及Dynamo这样的存储系统有关的论文列表。 这些都是非常好的论文，该领域的每个人都应该学习。

Please find the reading list here: http://tab.d-thinker.org/showthread.php?tid=1151.

请在此处找到阅读列表： http : //tab.d-thinker.org/showthread.php?tid=1151 。

A copy of the reading list is as follows.

阅读清单的副本如下。

分布式系统和云计算的阅读清单∞ (Reading List for Distributed Systems and Cloud Computing ∞)

Datacenters form the backbone of cloud-based systems. Barroso et al. introduced the Google search system, which provides a good starting point for understanding Internet-scale systems and datacenters:
Luiz Barroso, Jeffrey Dean, Urs Hoelzle. Web Search for a Planet: The Google Cluster Architecture. IEEE Micro, Vol. 23, No. 2, pp. 22-28, Mar./Apr. 2003. http://tab.d-thinker.org/showthread.php?tid=133

数据中心构成了基于云的系统的骨干。 Barroso等。 介绍了Google搜索系统，该系统为了解Internet规模的系统和数据中心提供了一个很好的起点：
路易斯·巴罗佐（Luiz Barroso），杰弗里·迪安（Jeffrey Dean），乌尔斯·霍尔茨（Urs Hoelzle）。 通过网络搜索行星：Google集群体系结构。 IEEE Micro，第 3月/ 4月23日，第2号，第22-28页。 2003。http： //tab.d-thinker.org/showthread.php？tid = 133

The MapReduce framework is a pioneer of large-scale data-intensive computing in datacenters:
Dean, J. and Ghemawat, S. 2004. MapReduce: simplified data processing on large clusters. In Proceedings of the 6th Conference on Symposium on Opearting Systems Design & Implementation – Volume 6 (San Francisco, CA, December 06 – 08, 2004). http://tab.d-thinker.org/showthread.php?tid=2

MapReduce框架是数据中心大规模数据密集型计算的先驱：
Dean，J.和Ghemawat，S.2004。MapReduce：简化大型集群上的数据处理。 在第六届“光学系统设计与实现研讨会”会议记录–第6卷（加利福尼亚州旧金山，2004年12月6日至8日）上。 http://tab.d-thinker.org/showthread.php?tid=2

Our recent development, DVM, shows an efficient way to extend instruction-level virtualization to a large number of physical hosts, and can potentially provide an abstraction of a “single computer” for a datacenter:
Zhiqiang Ma, Zhonghua Sheng and Lin Gu. DVM: A Big Virtual Machine for Cloud Computing. IEEE Transactions on Computers (to appear).
http://tab.d-thinker.org/showthread.php?tid=1685

我们最近的开发DVM显示了一种将指令级虚拟化扩展到大量物理主机的有效方法，并且有可能为数据中心提供“单台计算机”的抽象：
马志强，盛中华和顾琳。 DVM：用于云计算的大型虚拟机。 IEEE计算机事务（即将出现）。
http://tab.d-thinker.org/showthread.php?tid=1685

Other instruction-level abstractions for data intensive computing include Layer Zero, X10 and OpenCL. Specifically, Layer Zero is an open platform for data-intensive computing using unified memory and CPU resources on a cluster and provides the “single computer” abstraction. Such emerging technologies emphasize computation in the memory, and take different approaches to manage the sources and model the data and computation. Spark takes a functional approach on an RDD (Resilient Distributed Dataset) model, and a set of technologies (Pregel, Power Graph, etc.) focus on computation in a graph model.

数据密集型计算的其他指令级抽象包括零层，X10和OpenCL。 具体来说，零层是一个开放的平台，用于在群集上使用统一的内存和CPU资源进行数据密集型计算，并提供“单计算机”抽象。 此类新兴技术强调内存中的计算，并采用不同的方法来管理源以及对数据和计算进行建模。 Spark在RDD（弹性分布式数据集）模型上采用了功能性方法，并且一组技术（Pregel，Power Graph等）专注于图模型中的计算。

Zhiqiang Ma, Ke Hong and Lin Gu. VOLUME: Enable Large-Scale In-Memory Computation on Commodity Clusters. The 5th IEEE Intl. Conf. on Cloud Computing Technology and Science (CloudCom’13). Bristol, UK. Dec. 2-5, 2013.
http://tab.d-thinker.org/showthread.php?tid=2348

马志强，柯宏和林谷。 卷：在商品群集上启用大规模内存中计算。 第五届IEEE国际 Conf。 关于云计算技术和科学（CloudCom'13）。 英国布里斯托尔。 2013年12月2-5日。
http://tab.d-thinker.org/showthread.php?tid=2348

Matei Zaharia, Mosharaf Chowdhury, Tathagata Das, Ankur Dave, Justin Ma, Murphy McCauley, Michael J. Franklin, Scott Shenker, and Ion Stoica. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing. NSDI’12.
http://tab.d-thinker.org/showthread.php?tid=1313

Matei Zaharia，Mosharaf Chowdhury，Tathagata Das，Ankur Dave，Justin Ma，Murphy McCauley，Michael J.Franklin，Scott Shenker和Ion Stoica。 弹性分布式数据集：用于内存中群集计算的容错抽象。 NSDI'12。
http://tab.d-thinker.org/showthread.php?tid=1313

The datacenter software builds on techniques in distributed computing. Among these techniques, Paxos plays an important role in many core services in cloud systems. The following papers describe Paxos and a few systems using it:
Lamport, L. The part-time parliament. ACM Trans. Comput. Syst. 16, 2 (May. 1998), 133-169. http://tab.d-thinker.org/showthread.php?tid=188

数据中心软件建立在分布式计算技术之上。 在这些技术中，Paxos在云系统的许多核心服务中扮演着重要角色。 以下论文描述了Paxos及其使用的一些系统：
兰珀特，L。兼职议会。 ACM Trans。 计算 Syst。 16，2（1998年5月），133-169。 http://tab.d-thinker.org/showthread.php?tid=188

L. Lamport. Paxos made simple. ACM SIGACT News, 32(4):18-25, 2001. http://tab.d-thinker.org/showthread.php?tid=414

L. Lamport。 Paxos变得简单。 ACM SIGACT新闻，32（4）：18-25，2001. http://tab.d-thinker.org/showthread.php?tid=414

Burrows, M. The Chubby lock service for loosely-coupled distributed systems. In Proceedings of the 7th Symposium on Operating Systems Design and Implementation (Seattle, Washington, November 06 – 08, 2006). 335-350. http://tab.d-thinker.org/showthread.php?tid=59

M. Burrows。用于松耦合分布式系统的Chubby锁服务。 在第七届操作系统设计和实现研讨会论文集（华盛顿州西雅图，2006年11月6日至08日）中。 335-350。 http://tab.d-thinker.org/showthread.php?tid=59

The classic design of a large-scale storage system in datacenters is the Google File System (GFS), which provides a systematic solution to scalability, consistency, and software fault tolerance:
Ghemawat, S., Gobioff, H., and Leung, S. The Google file system. In Proceedings of the Nineteenth ACM Symposium on Operating Systems Principles (SOSP’03), Bolton Landing, NY, USA, October 19 – 22, 2003. 29-43.
http://tab.d-thinker.org/showthread.php?tid=1

数据中心中大型存储系统的经典设计是Google文件系统（GFS），它为可伸缩性，一致性和软件容错能力提供了系统的解决方案：
S. Ghemawat，H。Gobioff和S. Leung。Google文件系统。 在第十九届ACM操作系统原则研讨会（SOSP'03）的会议记录中，2003年10月19日至22日，美国纽约，博尔顿着陆。29-43。
http://tab.d-thinker.org/showthread.php?tid=1

Above the file system abstraction, researchers have constructed key value stores and databases. Often not supporting the full ACID semantics, the database design is often referred to as a NoSQL database.

在文件系统抽象之上，研究人员构建了键值存储和数据库。 数据库设计通常不支持完整的ACID语义，通常被称为NoSQL数据库。

DeCandia, G., Hastorun, D., Jampani, M., Kakulapati, G., Lakshman, A., Pilchin, A., Sivasubramanian, S., Vosshall, P., and Vogels, W. 2007. Dynamo: amazon’s highly available key-value store. In Proceedings of Twenty-First ACM SIGOPS Symposium on Operating Systems Principles (Stevenson, Washington, USA, October 14 – 17, 2007). SOSP ’07. ACM, New York, NY, 205-220.
http://tab.d-thinker.org/showthread.php?tid=120

DeCandia，G.，Hastorun，D.，Jampani，M.，Kakulapati，G.，Lakshman，A.，Pilchin，A. Sivasubramanian，S.，Vosshall，P.和Vogels，W.2007。发电机： 亚马逊的高可用键值存储。 在“二十一届ACM SIGOPS操作系统原则研讨会”的会议记录中（美国华盛顿史蒂文森，2007年10月14日至17日）。 SOSP '07。 ACM，纽约，纽约，205-220。
http://tab.d-thinker.org/showthread.php?tid=120

Chang, F., Dean, J., Ghemawat, S., Hsieh, W. C., Wallach, D. A., Burrows, M., Chandra, T., Fikes, A., and Gruber, R. E. Bigtable: a distributed storage system for structured data. In Proceedings of the 7th Symposium on Operating Systems Design and Implementation (Seattle, Washington, November 06 – 08, 2006). 205-218.
http://tab.d-thinker.org/showthread.php?tid=4

Chang，F.，Dean，J.，Ghemawat，S.，Hsieh，WC，Wallach，DA，Burrows，M.，Chandra，T.，Fikes，A.和Gruber，RE Bigtable：用于结构化的分布式存储系统数据。 在第七届操作系统设计和实现研讨会论文集（华盛顿州西雅图，2006年11月6日至08日）中。 205-218。
http://tab.d-thinker.org/showthread.php?tid=4

As the technology evolves, it becomes clear that reasonably strong semantics cannot be entirely ignored. While it is relatively easy to provide atomicity on single records, it is a tremendous technical challenge to support distributed transactions in high throughput, at affordable cost and in a large distributed system. Recent systems have made certain progress in this direction.

随着技术的发展，很明显，合理的强语义不能被完全忽略。 虽然在单个记录上提供原子性相对容易，但以高吞吐量，可承受的成本和大型分布式系统支持分布式事务是一项巨大的技术挑战。 最近的系统在此方向上已取得一定进展。

Jason Baker, Chris Bond, James C. Corbett, JJ Furman, Andrey Khorlin, James Larson, Jean-Michel Leon, Yawei Li, Alexander Lloyd and Vadim Yushprakh. Megastore: Providing Scalable, Highly Available Storage for Interactive Services. In Proceedings of the Conference on Innovative Data system Research (CIDR), 2011, pp. 223-234. http://tab.d-thinker.org/showthread.php?tid=805

Jason Baker，Chris Bond，James C.Corbett，JJ Furman，Andrey Khorlin，James Larson，Jean-Michel Leon，Yawei Li，Alexander Lloyd和Vadim Yushprakh。 大型商店：为交互式服务提供可扩展的高可用性存储。 在创新数据系统研究会议（CIDR）会议录中，2011年，第223-234页。 http://tab.d-thinker.org/showthread.php?tid=805

An earlier system, PNUTS, showcases another design with several similar goals.

较早的系统PNUTS展示了具有多个相似目标的另一种设计。

Cooper, B. F., Ramakrishnan, R., Srivastava, U., Silberstein, A., Bohannon, P., Jacobsen, H., Puz, N., Weaver, D., and Yerneni, R. PNUTS: Yahoo!’s hosted data serving platform. Proc. VLDB Endow. 1, 2 (Aug. 2008), 1277-1288. http://tab.d-thinker.org/showthread.php?tid=126

库珀，BF，拉马克里希南，R.，Srivastava，美国，西尔伯施泰因，Bohannon，P。，雅各布森，H，普兹，N。，韦弗，D。和耶尔尼，R。PNUTS：Yahoo！托管数据服务平台。 程序 VLDB天赋。 1，2（2008年8月），1277-1288。 http://tab.d-thinker.org/showthread.php?tid=126

A more recent development is Spanner:

Spanner是最近的发展：

James C. Corbett, Jeffrey Dean, Michael Epstein, Andrew Fikes, Christopher Frost, JJ Furman, Sanjay Ghemawat, Andrey Gubarev, Christopher Heiser, Peter Hochschild, Wilson Hsieh, Sebastian Kanthak, Eugene Kogan, Hongyi Li, Alexander Lloyd, Sergey Melnik, David Mwaura, David Nagle, Sean Quinlan, Rajesh Rao, Lindsay Rolig, Yasushi Saito, Michal Szymaniak, Christopher Taylor, Ruth Wang, and Dale Woodford. Spanner: Google’s Globally-Distributed Database. OSDI’12: Tenth Symposium on Operating System Design and Implementation, Hollywood, CA, October, 2012. http://tab.d-thinker.org/showthread.php?tid=1346

詹姆斯·C·科贝特（James C. David Mwaura，David Nagle，Sean Quinlan，Rajesh Rao，Lindsay Rolig，Yasushi Saito，Michal Szymaniak，Christopher Taylor，Ruth Wang和Dale Woodford。 扳手：Google的全球分布式数据库。 OSDI'12：在操作系统的设计与实现，好莱坞，CA，十月，第十届2012年研讨会http://tab.d-thinker.org/showthread.php?tid=1346

翻译自: https://www.systutorials.com/reading-list-for-system-research-on-cloud-computing/

分布式系统 云计算