Hadoop
coder_小刀
投身移动互联网的85后码农
展开
-
谷歌三大核心技术(二)Google MapReduce中文版
Google MapReduce中文版 译者: alex 摘要MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合,输出中间的基于key/value pair的数据集合;然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值转载 2015-02-04 15:53:15 · 1467 阅读 · 0 评论 -
谷歌三大核心技术(一)Google File System中文版
The Google File System中文版译者:alex摘要我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处,但是,我们的设计还是以我转载 2015-02-05 20:27:28 · 9335 阅读 · 0 评论 -
谷歌三大核心技术(三)Google_BigTable中文版
Bigtable:一个分布式的结构化数据存储系统译者:alex 摘要Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的PB级的数据。Google的很 多项目使用Bigtable存储数据,包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大,无转载 2015-02-25 15:44:00 · 1329 阅读 · 0 评论 -
mapreduce运行机制
谈mapreduce运行机制,可以从很多不同的角度来描述,比如说从mapreduce运行流程来讲解,也可以从计算模型的逻辑流程来进行讲解,也许有些深入理解了mapreduce运行机制还会从更好的角度来描述,但是将mapreduce运行机制有些东西是避免不了的,就是一个个参入的实例对象,一个就是计算模型的逻辑定义阶段,我这里讲解不从什么流程出发,就从这些一个个牵涉的对象,不管是物理实体还是逻辑实体。转载 2016-04-05 19:57:13 · 1924 阅读 · 0 评论