读Google三大论文有感

本学期我学习了大数据与人工智能课程，了解到了我们现在正处于一个大数据信息化时代，每个人都是一个庞大的数据库，而如何处理这些数据就成了人们共同解决的问题，老师上课过程之中提到了Google奠定了风靡全球的大数据算法的基础。抱着学习的态度，我经过老师的推荐，拜读了Google的三大著名论文。通过这次阅读我才意识到大数据对我们的影响，已经深入到了我们生活的方方面面
 ，无时无刻不在改变着我们的生活。
    关于谷歌的三大论文，首先让我们一起了解一下其发布历史：
①2003年，Google发布Google File System论文，这是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，提供容错功能。从根本上说：文件被分割成很多块，使用冗余的方式储存于商用机器集群上。
②紧随其后的就是2004年公布的 MapReduce论文，论文描述了大数据的分布式计算方式，主要思想是将任务分解然后在多台处理能力较弱的计算节点中同时处理，然后将结果合并从而完成大数据处理。
③最后就是谷歌发布于2006年的Bigtable，其启发了无数的NoSQL数据库，比如：Cassandra、HBase等等。Cassandra架构中有一半是模仿Bigtable，包括了数据模型、SSTables以及提前写日志（另一半是模仿Amazon的Dynamo数据库，使用点对点集群模式）
             Google GFS 是一个文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。 GFS 运行在廉价的普遍硬件设备上，提供容错功能，它可以给大量的用户提供总体性能较高的服务。GFS的设计思路与传统文件系统设计不同：第一，组件失效被认为是常态事件，而不是偶然事件；第二，按照传统的标准，文件都非常大；第三，绝大部分文件的修改是采用在文件尾部追加数据，而不是覆盖原有数据的方式；第四，应用程序和文件系统 API 的协同设计提高了整个系统的灵活性。它的系统的工作负载主要由两种读操作组成：大规模的流式读取和小规模的随机读取。GFS 提供了一套类似传统文件系统的 API 接口函数，架构方式是一个 GFS 集群包含一个单独的 Master 节点、多台 Chunk 服务器，并且同时被多个客户端访问。它还具有一致性。系统交互、垃圾回收、容错和诊断等功能。
             Bigtable 是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的 PB 级的数据。它具有适用性广泛、可扩展、高性能和高可用性，被运用在Google Analytics、Google Finance、Orkut、Personalized Search、Writely 和 Google Earth上。在很多方面，Bigtable 和数据库很类似：它使用了很多数据库的实现策略。并行数据库和内存数据库已经具备可扩展性和高性能，但是 Bigtable 提供了一个和这些系统完全不同的接口。Bigtable 不支持完整的关系数据模型；相反，Bigtable 为客户提供了简单的数据模型，使用这些简单模型客户可以完成适当的操作。从数据模型来看Bigtable 是一个稀疏的、分布式的、持久化存储的多维度排序 Map。Bigtable包括了三个主要的组件：链接到客户程序中的库、一个 Master 服务器和多个 Tablet 服务器. 针对系统工作负载的变化情况，BigTable 可以动态的向集群中添加（或者删除）Tablet 服务器。
           MapReduce是一种编程模型，也是一个处理和生成超大数据集的算法模型的相关实现，用于大规模数据集（大于1TB）的并行运算。MapReduce 架构的程序能够在大量的普通配置的计算机上实现并行化处理。
          了解并阅读完之后里面晦涩难懂的专业知识让我感到大数据处理的复杂程度十分之高，但是我们身处于21数据信息化的时代之中，大数据渗透到生活的各个层面，我们必须熟练的掌握和运用这些系统，这样我们才能在各行各业的职位中取得先机，将大数据作为一种特殊的武器化作自己的实力，在实践之中取得更好的成就。