谷歌的三篇重要论文读后感

谷歌的三篇重要论文读后感

     在读过谷歌的三篇关于大数据处理的论文后，我不得不佩服谷歌的开发人员的智慧，在现如今信息越来越数据化的形势下，如何处理这些规模庞大的数据成为了各大网络公司所要面对的一大难题。
     各大网络数据处理公司普遍的做法是使用大型计算机处理数据，利用大型机强大的数据处理能力来处理庞大的数据，但是这一做法的成本非常高昂，而且有一个非常严重的弊端，电子计算机作为一种精密的电子设备，经常会出现各种问题，导致其无法提供服务，而对于那些使用该机器进行数据处理的使用者来说，一旦设备出现故障便意味着一切工作停止。因此，在同样面对这一问题的时候，谷歌的开发者机智的想出了更好的处理方法。
   Google File System简称GFS, 是谷歌专门为大数据处理所设计的文件处理系统，这一系统的与众不同之处就在于，她是将大数据的处理工作分散化，不再将数据全部交给一个大型计算机来处理，而是将一个大的文件拆分成多个小文件来分散处理。同时，进行数据处理的处理器也不再是一个大型计算机，而是无数的小型计算机，每个计算机处理文件一小部分的数据，这样一来，既省去了一大笔购买大型机的成本（普通的计算机就可以胜任），而且也避免了由于机器故障而导致数据处理停止的事件发生。当一个处理器出现故障，对于其他的处理器没有任何影响，而且管理系统也可以将故障机的任务分配给其他的机器，这样就避免了由于设备问题而对于整个文件的处理工作产生影响。
   事实上谷歌做的远不止这些，除此之外谷歌还设计了MapReduce和Bigtable,MapReduce是谷歌创建的一个编程模型，它可以在大量的普通配置的计算机上实现并行化处理，它的主要功能是分割数据，帮助程序员充分利用分布式系统的的丰富资源。通过将数据储存存储在计算机内部，极大的节省了网络带宽，使得其更加适应普通的计算机。为了让普通计算机更好进行数据处理，谷歌又设计了一个分布式的结构化数据储存系统来帮助PC机存储数据。BigTable通过集群管理系统来调度任务、管理共享的机器上的资源、机器故障处理、以及监视机器的状态。
   谷歌通过这一系列的创新、改进、优化，使得大数据处理变得更加简单可靠，让大数据处理的发展进入了一个新的台阶，也使得依靠大数据处理的产业也进入了人一个新的发展阶段。