关于谷歌三大论文的读后感

  近些年来人们常说大数据时代已经来临，但常人仅仅知道大数据这一个名词，却不知道大数据背后所包含的具体技术原理。我在阅读了Google的三大论文后终于对大数据与人工智能的真面目略知一二，然而受限于相关的专业知识的不足，我根据这三篇论文了解到的知识和原理可能仅限于皮毛。
   2003年Google File System发布，按照谷歌的说法，这是一个面向大规模数据密集型应用并可绅缩的分布式文件系统。这个系统存在于大量的普通计算机之中，这样以来以TB计算的数据可以分配到几千台普通计算机上进行处理而不需要一个超级服务器。这无疑是一个降低运行成本的好办法，首先大型服务器的的初始成本非常高，为了追求运行的稳定性，服务器对所在的环境有有不低的要求，其自身的硬件质量也要有保证后期的维护成本也是非常之高。相较之下，GFS系统用Master节点和Chunk服务器把海量数据放在多台低性能计算机上，使用成本非常低。同时为了防止数据丢失，GFS拥有问题检测，灾难冗余及自动恢复的机制，以此避免了少数计算机突发故障或者网络中断所带来的损失。
 2004年，谷歌发布了MapReduce论文，这是MapRedce是一个基于GFS系统的编程模型，用于处理和生成超大数据集。MapReduce作为一个计算系统由Map和Reduce两部分组成，在GFS里，Master将需要处理的数据文件拆分为多个分发给每个计算机进行读取处理，最后Reduce函数将所有处理结果合并后输出。个人pc在空闲时间里计算机的计算力是闲置的，而此系统可以利用这些闲置的计算力。数以千计的设备并行处理所花的时间的也是比较短的。
  BigTable在2006年发布，该存储系统建立在MapReduce和GFS之上。三者互相关联，三篇论文问世，让大数据时代到来，谷歌也在这个时代占据了先机。时至今日，我们仍不能满足于旧的数据模型和数据处理方法，世界上每一天产生的海量数据越来越多，因而我们需要更高效的，更低成本的处理方法。