黑猴子的家:MapReduce流量汇总程序案例四

要求每个省份手机号输出的文件中按照总流量内部排序。

1、分析

基于MapReduce流量汇总程序案例三,增加自定义分区类即可。

2、案例实操

(1)增加自定义分区类

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class FlowSortPartitioner extends Partitioner<FlowBean, Text> {

    @Override
    public int getPartition(FlowBean key, Text value, int numPartitions) {
        int partition = 0;

        String preNum = value.toString().substring(0, 3);

        if (" ".equals(preNum)) {
            partition = 5;
        } else {
            if ("136".equals(preNum)) {
                partition = 1;
            } else if ("137".equals(preNum)) {
                partition = 2;
            } else if ("138".equals(preNum)) {
                partition = 3;
            } else if ("139".equals(preNum)) {
                partition = 4;
            }
        }

        return partition;
    }
}

(2)在驱动类中添加分区类

    job.setPartitionerClass(FlowSortPartitioner.class);
    job.setNumReduceTasks(5);

3、Code -> GitHub

https://github.com/liufengji/hadoop_mapreduce.git

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值