MapReduce自定义分区

最新推荐文章于 2022-10-23 17:36:47 发布

薯条加可乐谢谢

最新推荐文章于 2022-10-23 17:36:47 发布

阅读量591

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/u012321968/article/details/107827964

版权

Hadoop 专栏收录该内容

18 篇文章 1 订阅

订阅专栏

分区

分区的工作发生在Shuffle阶段，即map之后reduce之前。

自定义分区步骤

在这里插入图片描述
Partitioner泛型的类型为map的输出类型

相关代码

package MapReduceFlow;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class MyPartitioner extends Partitioner<Text,FlowBean> {

    @Override
    public int getPartition(Text text, FlowBean flowBean, int numPartitions) {
        String telNum = text.toString();
        String preStr = telNum.substring(0,3);

        if("131".equals(preStr)){
            return 0;
        }
        else if("135".equals(preStr)){
            return 1;
        }
        else if("137".equals(preStr)){
            return 2;
        }
        else{
            return 3;
        }
    }
}