谷歌三篇大数据论文读后感

谷歌三篇大数据论文读后感

   这几天，我读了谷歌有关大数据的三篇论文，给我带来了很大影响，从对大数据一点都不了解到有了一点了解，了解到了Google关于大数据前沿报告。这三篇论文分别是Google File System、Google Bigtable、Google MapReduce，每一篇都介绍了一种系统。
   Google GFS 文件系统，是一个面向大规模数据密集型应用的、分布式的可扩展的分布式文件系统。GFS 运行在廉价的普遍硬件设备上，提供容错功能，它可以给大量的用户提供总体性能较高的服务。GFS的设计思路与传统文件系统设计不同：第一，组件失效被认为是常态事件，而不是偶然事件；第二，按照传统的标准，文件都非常大；第三，绝大部分文件的修改是采用在文件尾部追加数据，而不是覆盖原有数据的方式；第四，应用程序和文件系统 API 的协同设计提高了整个系统的灵活性。它的系统的工作负载主要由两种读操作组成：大规模的流式读取和小规模的随机读取。GFS 提供了一套类似传统文件系统的 API 接口函数，架构方式是一个 GFS 集群包含一个单独的 Master 节点、多台 Chunk 服务器，并且同时被多个客户端访问。它还具有一致性。系统交互、垃圾回收、容错和诊断等功能。
   Bigtable 是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的 PB 级的数据。它具有适用性广泛、可扩展、高性能和高可用性，被运用在Google Analytics、Google Finance、Orkut、Personalized Search、Writely 和 Google Earth上。在很多方面，Bigtable 和数据库很类似：它使用了很多数据库的实现策略。并行数据库和内存数据库已经具备可扩展性和