MapReduce之起源篇

基本概念

MapReduce是由Google提出的一种面向大规模数据处理的并行计算模型和方法。Google提出;MapReduce的初衷是为了解决其搜索引擎中大规模的网页数据的并行化处理;到目前为止,Google公司内有上万个各种不同的算法问题和程序使用MapReduce进行处理

MapReduce 是一个使用简单的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错式并行处理TB级别的数据集。

来源

来源于pageRank也就是我们网页排名的问题;就像我们使用百度,百度搜索出你要的内容,会给我们返回很多链接,这个就相当于page;那我们搜索得到的page的排名结果,这个排名会有相应的分数,这个分数就相当于Rank;page的Rank越高(分数越高)排名会越靠前

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

2004年12月,Google在某次国际会议上分别发布了MapReduce的论文,也公布了Google的MapReduce的基本原理和主要设计思想,Hadoop MapReduce其实也是Google MapReduce的克隆版

640?wx_fmt=jpeg

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值