Google三大论文读后感

Google三大论文读后感

马云在卸任时讲到：“很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。”可见，正处于大数据时代的我们很有必要了解一下大数据方面的知识。
Google File System文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。
Bigtable 是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的 PB 级的数据。
MapReduce 是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。
下面我将根据自己的理解对它们进行简略的介绍，让大家能更好地了解它们。

Google 文件系统(Google File System ）

为了满足 Google 迅速增长的数据处理需求，Google设计并实现了GFS。GFS 包括几百甚至几千台普通的廉价设备组装的存储机器，同时被相当数量的客户机访问，这也导致任何给定时间内都有可能发生某些组件无法工作，所以常常出现如应用程序bug、操作系统的 bug、人为失误，甚至还有硬盘、内存、连接器、网络以及电源失效等问题。系统必须持续监控自身的状态，它必须将组件失效作为一种常态，能够迅速地侦测、冗余并恢复失效的组件。

Google Bigtable

Bigtable能可靠的处理 PB 级别的数据，并且能够部署到上千台机器上。它有适用性广泛、可扩展、高性能和高可用性这几个特点。
Bigtable 包括了三个主要的组件：链接到客户程序中的库、一个 Master 服务器和多个 Tablet 服务器。针
对系统工作负载的变化情况，BigTable 可以动态的向集群中添加（或者删除）Tablet 服务器。

Google MapReduce

MapReduce 编程模型的原理是：利用一个输入 key/value pair 集合来产生一个输出的 key/value pair 集合。再结合用户实现的Map 和 Reduce 函数，我们就可以非常容易的实现大规模并行化计算；通过 MapReduce 模型自带的“再次执行”（re-execution）功能，也提供了初级的方案。