hadoop自定义分区

1. 实现自定义分区比较简单了，继承Partitioner，实现getPartition()方法就行了，分区是按照key进行的。以wordcount为例。
2. 输入文本1 hello world hello
   3.输入文本2 hello world world
   4 编写程序，hello 和world各自为一个分区，各自对应一个reduce,对应一个输出文件。

public class MyPatitioner extends Partitioner<Text, LongWritable>{


    @Override
    public int getPartition(Text key, LongWritable value, int numPartitions) {
        // TODO Auto-generated method stub
        if (key.toString().equals("hello")) {
            return 0;      //从0开始
        }else {
            return 1;
        }
    }

}

5.运行程序中加入以下两行代码

  job.setPartitionerClass(MyPatitioner.class);  //设置分区类
  job.setNumReduceTasks(2);  //设置分区个数

6.运行结果
hello 3
world 3