MapReduce中partition、sort、group
partition是分区,默认根据key的hash值分区,确定各个key分到哪个reducer中去,计算方法一般是HashValue%Num(reducer),如果只有一个分区,则全都分配到一个区。
sort是在分区内根据key进行排序。
group是分组,是在partition里面再分组,相同的key分到一个组中去,实现方法是compare(o1,o2),相同为一个group。
有些问题需...
原创
2018-11-09 21:22:57 ·
816 阅读 ·
0 评论