Google三篇著名论文中文版读后感

Google三篇重大论文中文版读后感

在大数据高速发展的时代，由Google研发的GFS文件系统、MapReduce编程模型 BigTable存储系统三款系统被广泛的应用于我们所熟悉或者是其他以大数据为基础建设的软件中，有如和Google有合作关系的Tencent等。如果在大数据发展的初期，Google没有提出这三款系统的设想，那么大数据时代的发展可能不会像现在这样发展得如此的快速和顺利。

一、Google File System （GFS）

2003年，Google设计的Google File System （GFS）初问世便引起了业界的关注。Google在其论文中提到：“我们对我们当前的和可预期的将来的应用规模和技术环境的评估结果将我们引导到一个使用完全不同于传统的设计思路上。根据我们的设计思路，我们认为组件失效是常态而不是异常，针对采用追加方式（有可能是并发追加）写入、然后再读取（通常序列化读取）的大文件进行优化，以及扩展标准文件系统接口、放松接口限制来改进整个系统。系统通过持续监控，复制关键数据，快速和自动恢复提供灾难冗余。Chunk 复制可以对Chunk 服务器的失效进行容错…虽然一些设计要点都是针对我们的特殊的需要定制的，但是还是有很多特性适用于类似规模的和成本的数据处理任务。 ”所以，现在有很多基于大数据制作的软件都采用GFS的模式来实现大数据的存储，这对其开发起到了一定的有利作用。

二、Google MapReduce

MapReduce是Google发布的一个处理和生成超大数据集的算法模型，同时，MapReduce 编程模型也在 Google 内部成功应用于多个领域。由于MapReduce 封装了并行处理、容错处理、数据本地化优化、负载均衡等技术难点的细节，使得程序员们更易使用此款模型，并应用于更多领域。MapReduce的函数模型让Google的大数据和人工智能的发展比其他同类型的开发公司迅速了许多。

三、Google Bigtable

Google公司于2006年时提出了Google Bigtable 的构想，Bigtable 是一个分布式的结构化数据存储系统，它主要被设计用来处理海量数据，而这些数据通常是分布于数千台普通服务器上的 PB 级数据。Google Bigtable 中文版的论文中写到：“Google 的很多项目都在使用 Bigtable 存储数据，包括 Web 索引、Google Earth、Google Finance。这些应用对Bigtable 提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对Google 的这些产品，Bigtable 还是成功的提供了一个灵活的、高性能的解决方案。利用这个模型，用户可以动态的控制数据的分布和格式。”这从侧面体现了BigTable存储系统的兼容性之大和应用范围之广。

当然，Google在开发系统的过程中也不是一帆风顺的，他们在开发BigTable系统时就遇到过下面这些问题：内存数据损坏；网络中断；时钟偏差；机器挂起；扩展的和非对称的网络分区31；使用的其它系统的Bug（比如 Chubby）； GFS 配额溢出；计划内和计划外的硬件维护等等。由此可见，每个项目的开发是需要几经波折才能稍微取得一点成就的。
对于大数据的发展，Google团队的贡献可谓是功不可没！