mr中理解分区和分组(转)

原文链接：https://blog.csdn.net/qq_21292551/article/details/50261391

 

1.MapReduce中数据流动
（1）最简单的过程：  map - reduce
（2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce
（3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce

自定义一个分区方案，默认通过key的hash值
job中添加设置：
结果参考：

2.Mapreduce中Partition的概念以及使用
1)Partition的原理和作用
          得到map给的记录后，他们该分配给哪些reducer来处理呢？hadoop采用的默认的派发方式是根据散列值来派发的，但是实际中，这并不能很高效或者按照我们要求的去执行任务。例如，经过partition处理后，一个节点的reducer分配到了20条记录，另一个却分配道了10W万条，试想，这种情况效率如何。又或者，我们想要处理后得到的文件按照一定的规律进行输出，假设有两个reducer，我们想要最终结果中part-00000中存储的是"h"开头的记录的结果,part-00001中存储其他开头的结果，这些默认的partitioner是做不到的。所以需要我们自己定制partition来根据自己的要求，选择记录的reducer。自定义partitioner很简单，只要自定义一个类，并且继承Partitioner类