MapReduce大致执行过程

MapReduce执行图
大致过程:

  1. 将要执行的MapReduce程序复制到Master和每一台Worker机器中
  2. Master决定Map程序与Reduce程序分别由哪些Worker机器执行
  3. 将所有的文件分块,分配到执行Map程序的Worker机器中进行Map
  4. 将Map后的结果存入Worker机器的本地磁盘
  5. 执行Reduce程序的Worker机器远端读取每一份Map结果,进行调整排序,同时执行Reduce程序
  6. 将使用者需要的运算结果输出

另外,这个博客写的挺不错。
http://www.cnblogs.com/sharpxiajun/p/3151395.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值