![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文章平均质量分 84
lengyuhong
大学生,经历温州大学和浙江工业大学,现在淘宝数据平台实习,喜欢的领域:关联智能推荐,海量数据处理,搜索引擎
展开
-
The Google File System中文版
<br />The Google File System中文版<br />By Alex摘要<br />我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为 大量客户机提供了高性能的服务。<br />虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础 的,不管现在还是将来,GFS和早期的分布式文件系统的设想转载 2010-11-04 10:54:00 · 1208 阅读 · 0 评论 -
Google MapReduce中文版
Google MapReduce中文版译者: alex摘要MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合,输出中间的基于key/value pair的数据集合;然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子, 本论文将详细描述这个模型。MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统原创 2010-11-04 10:51:00 · 1023 阅读 · 0 评论 -
Bigtable:一个分布式的结构化数据存储系统
<br /> <br />Bigtable:一个分布式的结构化数据存储系统<br />译者:alex<br />摘要<br />Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的PB级的数据。Google 的很多项目使用Bigtable存储数据,包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大,无论是在数据量上(从URL到网页到卫星图像)还是在响应速度上(从后端的批量处理到实时数据原创 2010-11-04 10:48:00 · 4431 阅读 · 0 评论