读google三大论文有感

读google三大论文有感
在网络科技飞速发展的21世纪，在没有接触大数据之前，只觉得大数据是一个很离自己很遥远的东西，是一个很高大尚的名词，自己对于这方面也只是知道，不过经过十几周的学习，在老师的讲解下，我才渐渐明白了了解了人工智能-大数据这一名词，并且慢慢的产生了浓厚的兴趣，人工智能与大数据在不急经意间，已经深入了我们生活的方方面面，衣食住行、学习生活等等。在老师的推荐下，悉心拜读了google三大论文，接下来我将谈谈我读后的感触。
第一篇是Google2003年发布的GFS（Google File System）论文，该篇主要讲述了GoogleFile System的组成结构一个master和大量的chunkserve，master保存目录和索引信息，大量的chunkserver用于消除单点故障，从而提高了整体性能。第二篇是MapReDuce论文，主要描述大数据的分布式计算方式，通过将任务分解然后再多台处理能力较弱的计算节点中同时处理，最后合并结果。第三篇Big Table论文，主要讲述建立于GFS与MapReduce的Big Table可以使负载得到很好的均衡，启发许多的数据库。
首先，GFS运行于廉价的普通硬件上，提供容
错功能，这会使得GFS被大众广泛使用，不需要高价的硬件就可以为用户提供高效的服务，这种特性会得到大众的支持；其次，Google通过使用大量的chunkserver消除单点故障，从而减少客户端与master的交互，通常是客户端与chunkserver进行交流，现在的商务系统、工业系统等都在追求高效实用，都不希望出现系统一个部件失效就让整个系统无法运作的情况，故此，GFS势必被作为市场上许多文件系统运作的基础，被后来这广泛运用。
再者，MapReduce是程序员们使用的一个编程模型，它能够处理和生成巨大数据集。通过它对系统的各个终端机器进行管理，程序员们可以最大程度地利用计算机资源。MapReduce可以对很多复杂的问题进行简单的解决，这对处理一些现实问题非常有帮助，如空气污染指数、城市外来人口统计等。而它是如何做到的呢?这也要归功于分布式原理。对于一个复杂的问题，并不是直接丢给一台高性能的电脑去做而是分配给许多台低性能的电脑，不仅提高了效率也提高了容错率。因为worker们都是低性能的电脑，所以随时都有罢工的风险。为了防止他们罢工会设定一个程序让全体woker定时像master发送信号，告诉master它还在运转。如果master接收不到信号了，它就会把原先分给那个woker的工作分给其它woker如果master瘫痪了，全体woker也会重新选举产生一个新的master。
最后，Bigtable包含三个角色分别是lip、master、tablet。Master服务器负责为Tablet服务器分配Tablet兼具负载均衡并检测新加入或者过期失效的Tablet服务器对保存在GFS上的文件进行垃圾收集，同时还可以在master上进行处理模式的修改。每个Tablet服务器都管理很多很多Tablet。每个Tablet服务器负责处理它所加载的Tablet的读写操作，以及在Tablets过大时，将其分割。无论何时一个tablet只能被分割给一个tablet服务器，而master则会进行追踪记录。
总而言之，Google的三大论文为大数据算法奠定基础，势必引领时代前进。此次阅读使我深有感触，引起了我对人工智能与大数据的兴趣，通过一周的时间的阅读，虽然不能做到面面俱到得了解，但是简简的阅读却能让我有如此大的收获，将使我终生受益匪浅。如果有机会，我也希望可以去更深刻的了解和学习人工智能与大数据。