Google的三驾马车

Google的伟大之处，不仅因为它建立了一个很好很强大的搜索引擎，而且还在于它创造了3项革命性技术：GFS、MapReduce和BigTable，即所谓的Google三驾马车。

        2003年10月19—22日，Google在美国纽约召开的第19届ACM操作系统原理研讨会（Symposium on Operating Systems Principles，SOSP）上，发表了论文《Google文件系统》，系统地介绍了Google面向大规模数据密集型应用的、可伸缩的分布式文件系统——GFS。GFS是一个可扩展的大型数据密集型应用的分布式文件系统，该文件系统可在廉价的硬件上运行，并具有可靠的容错能力，该文件系统可为用户提供极高的计算性能，而同时具备最小的硬件投资和运营成本。

         2004年12月5日，Google在美国旧金山召开的第6届操作系统设计与实现研讨会（Operating Systems Design and Implementation，OSDI）上，发表了论文《MapReduce：超大集群的简单数据处理》，向全世界介绍了MapReduce系统的编程模式、实现、技巧、性能和经验。基于MapReduce编写的程序是在成千上万的普通PC机上被并行分布式自动执行的。它将所有服务器中的处理器有效地利用起来计算保存在谷歌文件系统中的海量数据并得到想要的结果。

        2006年11月6—8日，Google在美国西雅图召开的第7届操作系统设计与实现研讨会上，发表了论文《BigTable：结构化数据的分布式存储系统》，分析了设计用于处理海量数据的分布式结构化数据存储系统BigTable的工作原理。

        3篇重量级论文的发表，不仅使大家理解了Google搜索引擎背后强大的技术支撑，而且论文和相关的开源技术极大地普及了云计算中非常核心的分布式技术。随后，克隆这3项技术的开源产品如雨后春笋般涌现，Hadoop就是其中的一个。

        而Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。这样，Google以一种独特的方式，影响了大数据处理的潮流。