Google三大理论论文读后感

看完Google,三大理论后我有深刻的体会。一开始看的时候,一脸懵逼,但还是硬着头皮看完了。
自己毕竟知识有限,很多内容都不太清楚,但还是有一些自己的看法,以下为自己的看法。
GFS是一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。它为Google的数据存储在其主要功能上进行了性能的优化。它需要大量的chunkserver和一个master。它是一个功能完善且强大的专业性的存储平台
它的原理理解起来就是:文件被分割成很多块,使用冗余的方式储存于商用机器集群上。GFS是多层分布的,通过大量的文件块服务器来被诸多用户访问。每个文件块在不同的chunkserver上都会有备份,提高了容错率。
GFS垃圾回收采用惰性回收策略。 当删除文件时,GFS不会立即回收资源,而是记录下这项操作,并为文件重新命名(隐藏名字),如果不找回,三天后才会删除掉隐藏文件。我们熟悉的百度云,迅雷等软件也是这样的,然而它的好兄弟HDFS却是暴力的直接删除,一点通融的机会都不给。
我理解的MapReduce就是map负责发任务,然后通过一堆计算机进行执行任务,最后reduce来将任务回收。通过一个任务分成多个小任务,在发送给多台电脑进行处理最后在汇总,这样一来,节省了大量的时间。其中分配任务的map是最复杂最累的,它需要考虑很多问题。
BigTable是一个以GFS为底层架构的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库。它可以快速可靠的处 理PB级别的数据。
这三驾马车若是再加上抓取数据的话,抓取,存储与快速分析,不就是大数据吗?这三大理论为大数据的发展起到了非常重要的作用。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值