大数据与云计算
文章平均质量分 81
MR_kris
king
展开
-
Google 分布式系统三大论文(一)The Google File System
The Google File System 中文版 摘要 我们设计并实现了Google文件系统,一个面向分布式数据密集型应用的、可伸缩的分布式文件系统。虽然运行在廉价的日用硬件设备上,但是它依然了提供容错功能,为大量客户机提供了很高的总体性能。 虽然与很多之前的分布式文件系统有很多相同目标,但是,我们的设计已经受应用的负载情况和技术环境影响,现在以及可预见的将来都反映出,我们的设计和早期的原创 2015-11-12 10:20:04 · 4880 阅读 · 0 评论 -
Google分布式系统三大论文(二)Bigtable: A Distributed Storage System for Structured Data
修正了alex翻译版的几个欠妥之处 Bigtable:一个分布式的结构化数据存储系统 摘要 Bigtable是一个管理结构化数据的分布式存储系统,它被设计用来处理海量数据:分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigtable中,包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大,无论原创 2015-11-12 10:23:06 · 5440 阅读 · 1 评论 -
Google分布式系统三大论文(三)MapReduce: Simplified Data Processing on Large Clusters
MapReduce:大型集群上的简单数据处理 摘要 MapReduce是一个编程模型和一个处理和生成大数据集的相关实现。用户指定一个map函数处理一个key-value对来生成一组中间key-value对;指定一个reduce函数合并所有和同一中间key值相联系的中间value值。许多现实世界中的任务以这个模型展现,就像文中展示的那样。 以这种函数类型编写的程序在一群日常机器上自动并行化并执原创 2015-11-12 10:26:26 · 2152 阅读 · 0 评论