MaxCompute学习笔记

MaxCompute MapReduce 过程:

以wordcount为例:
a.txt文件如下:

 a,b,a
 b,b,a
 c,a,a

如上所示,有3行

MAP阶段:

1.每一行一个map

map1 负责 a,b,a
map2 负责 b,b,a
map3 负责 c,a,a

2.以 key-value形式读取数据

map1: <a,1> <b,1> <a,1>
map2: <b,1> <b,1> <a,1>
map3: <c,1> <a,1> <a,1>

SHUFFLE阶段:

1.合并排序
排序阶段 (以key值排序)

map1: <a,1> <a,1> <b,1>
map2: <a,1> <b,1> <b,1>
map3: <a,1> <a,1> <c,1>

合并阶段( key值相同的value累加)

map1: <a,2 ><b,1>
map2: <a,1> <b,2>
map3: <a,2> <c,1>

2.分配给Reduce
以key值排序

<a,2> <a,1> <a,2> <b,1> <b,2> <c,1>
按key值分配给不同reduce
reduce1: <a,2> <a,1> <a,2>
reduce2: <b,1> <b,2>
reduce3: <c,1>

REDUCE阶段

合并运算,并排序:

在 Shuffle 阶段前期,首先对每个 Map Worker 的输出
reduce1: <a,5>
reduce2: <b,3>
reduce3: <c,1>
注意: maxcompute mapreduce的输入,输出只能是表

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值