MapReduce自定义Partitioner

Shuffle过程是会按照Map中输出的key，把数据默认分到一个分区中，那么默认的是如何实现的？

HashPartitioner是Partitioner默认的分区规则，其中numReduceTasks就是指定的Reducer的个数，决定了Reducer作业输出文件的个数。

自定义Partitioner

package com.imooc.bigdata.hadoop.mr.access;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

/**
 * MapReduce自定义分区规则
 */
public class AccessPartition extends Partitioner<Text, Access> {

    /**
     * @param phone         手机号
     * @param access
     * @param numPartitions
     * @return
     */
    @Override
    public int getPartition(Text phone, Access access, int numPartitions) {
        if (phone.toString().startsWith("13")) {
            return 0;
        } else if (phone.toString().startsWith("15")) {
            return 1;
        } else {
            return 2;
        }
    }
}

在main方法中配置：

        // 设置自定义分区规则
        job.setPartitionerClass(AccessPartition.class);
        // 设置reduce个数
        job.setNumReduceTasks(3);

这样就将结果输出到不同的文件中去了。