分区之按照手机号分区

先确定要加分区的位置,是在map之后加的
当需要将统计结果输出到不同的文件中就需要自定义分区并且设置:
//8 指定自定义分区器
job.setPartitionerClass(ProvincePartitioner.class);

    //9 同时指定相应数量的ReduceTask
    job.setNumReduceTasks(5);

默认分区器HashPartitioner,自定义一个分区类ProvincePartitioner并且让这个类继承Partitioner,还要实现getPartition()方法
public int getPartition(Text text, FlowBean flowBean, int numPartitions) {
在getPartition()方法中写自己需要的分区需求

,再序列化的基础之上增加分区的功能
写一个分区类ProvincePartitioner
public class ProvincePartitioner extends Partitioner<Text, FlowBean> {
@Override
public int getPartition(Text text, FlowBean flowBean, int numPartitions) {
//获取手机号前三位prePhone
String phone = text.toString();
String prePhone = phone.substring(0, 3);
这里要注意传入的两个参数,是map的输出KV,<Text, FlowBean>

(4)在驱动函数中增加自定义数据分区设置和ReduceTask设置

    //8 指定自定义分区器
    job.setPartitionerClass(ProvincePartitioner.class);

    //9 同时指定相应数量的ReduceTask
    job.setNumReduceTasks(5);
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值