hadoop 自定义排序

hadoop 默认的排序机制是,通过key的hashCode进行升序排列,但是我们要降序或者通过value排序呢?那么我们就要进行自定义排序了

自定义排序需要注意几点:

1.默认通过hadoop的key值进行排序,那么说明我需要写一个自定义的类,当作key来进行排序

2.自定义的key值,需要实现WritableComparable<T>(它extends Writable和Comparable<T>)

3.重写compareTo(Object obj)这个方法

4.重写hashCode用来进行排序

static class NewK implements WritableComparable<NewK> {
	
			Long first;
			Long second;
	
			public NewK() {}
	
			public NewK(long first, long second) {
				this.first = first;
				this.second = second;
			}
	
			@Override
			public void readFields(DataInput in) throws IOException {
				// TODO Auto-generated method stub
				this.first = in.readLong();
				this.second = in.readLong();
			}
	
			@Override
			public void write(DataOutput out) throws IOException {
				// TODO Auto-generated method stub
				out.writeLong(this.first);
				out.writeLong(this.second);
			}
	
			@Override
			public int compareTo(NewK o) {
				// TODO Auto-generated method stub
				Long oFirst = o.first;
				long minus = this.first - oFirst;
				// 比较传进来的对象和现在的对象的大小,如果不相等,那么返回原来的值,否则第二个的值的大小进行排序
				if (minus != 0) {
					return (int) minus*-1;
				}
				return (int) (this.second - o.second)*-1;
			}
	
			@Override
			public int hashCode() {
				// TODO Auto-generated method stub
				return this.first.hashCode() + this.second.hashCode();
			}
	
			@Override
			public boolean equals(Object obj) {
				// TODO Auto-generated method stub
				NewK n = (NewK) obj;
				return this.first == n.first && this.second == n.second;
			}
		}

这里我们把first当作key

实现效果是:key降序排列,value降序排序

在compareTo()中我们看到,现在的对象和传进来的比较对象进行了key 的比较,如果他们不相等,那么他们将会按照原来的方式,进行升序排列,当我们×1后那么就会降序,如果他们相同,于是比较value,比较出大小后, 默认是升序排列,当我们×1后,那么他们就是降序!



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值