hadoop MR 二次排序

二次排序例如这样一组气温数据年份 温度2006 -202006 212007 552007 162007 33经过reduce处理年份会自动排序 但是如果要对年份和气温分别排序那就需要二次排序了 例如年份升序对气温降序2006 212006 -202007 552007 332007 161.自定义combokey(组合key)类 因为在reduce中只对key排...
摘要由CSDN通过智能技术生成

二次排序

例如这样一组气温数据
年份 温度
2006 -20
2006 21
2007 55
2007 16
2007 33

经过reduce处理年份会自动排序 但是如果要对年份和气温分别排序那就需要二次排序了 例如年份升序对气温降序

2006 21
2006 -20
2007 55
2007 33
2007 16

1.自定义combokey(组合key)类 因为在reduce中只对key排序所以自定义一个组合类 然后定义combokey的排序规则的排序规则

public class Combokey implements WritableComparable {
private int year;
private int temp;

public int getYear() {
    return year;
}

public void setYear(int year) {
    this.year = year;
}

public int getTemp() {
    return temp;
}

public void setTemp(int temp) {
    this.temp = temp;
}

public int compareTo(Combokey o) {
    int y=o.getYear();
    int t=o.getTemp();
    if( y == getYear())
    {
        return t-getTemp();
    }
    else{
        return getYear() - y;
    }
}

/*
    串行化过程
 */
public void write(DataOutput dataOutput) throws IOException {
    // 写年份和气温
    dataOutput
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值