hadoop combine,partition,shuffe概念详解
Mapreduce在hadoop中是一个比较难以的概念。下面需要用心看,然后自己就能总结出来了。
概括:
combine和partition都是函数,中间的步骤应该只有shuffle!
1.combine
combine分为map端和reduce端,作用是把同一个key的键值对合并在一起,可以自定义的。
combine函数把一个map函数产生的对(多个key,value)合并成一
转载
2016-05-09 12:09:27 ·
2268 阅读 ·
0 评论