重写HashPartitioner类

Hadoop中，Map的结果会通过partition分发到Reducer上hadoop的reduce中。这个partition默认为HashPartitioner。

public class HashPartitioner<K, V> extends Partitioner<K, V> {

  public int getPartition(K key, V value,
                          int numReduceTasks) {
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
  }
}

可以看到，(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;将key均匀分布在ReduceTasks上，举例如果Key为Text的话，Text的hashcode方法跟String的基本一致，都是采用的Horner公式计算，得到一个int，string太大的话这个int值可能会溢出变成负数，所以与上Integer.MAX_VALUE（即0111111111111111），然后再对reduce个数取余，这样就可以让key均匀分布在reduce上。可以通过重写这个类达到一个变换map key的效果，可以自定义指定如何进行分发。
比如：

public static class NewPartitioner extends
            HashPartitioner<Text, IntWritable> {
        public int getPartition(Text key, IntWritable value, int numReduceTasks) {
            String term = new String();
            term = key.toString().split("#")[0]; // <term#docid>=>term
            //还是调用父类的getPartition方法，但是计算使用单词，而非单词#词频，更改了key
            //return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
            return super.getPartition(new Text(term), value, numReduceTasks);
        }
    }