Hadoop中MapReduce的自定义分区、排序、分组

分区：
在MR的job中，默认使用的分区类为：HashPartitioner.class
其源代码为：

public class HashPartitioner<K, V> extends Partitioner<K, V> {
    public HashPartitioner() {
    }

    public int getPartition(K key, V value, int numReduceTasks) {
        return (key.hashCode() & 2147483647) % numReduceTasks;
    }
}

可以看到 HashPartitioner.class 中得到分区号时，会对job设置的reduce任务数取余，这样的到0~numReduceTasks-1之间的正数作为分区号。

因此可以得到结论，HashPartitioner.class可以使相同Key一定在相同分区，同一分区里可能有不同Key。

自定义分区类： 继承class Partitioner<KEY, VALUE> 类，重写getPartition方法。

public static class GlobleSortPartitioner extends Partitioner<IntWritable,Text>{
        @Override
        public int getPartition(IntWritable key,Text value,int numPartitions){
            int a = key.get();