利用mapreduce中某些基本类的内置比较方法实现倒序排序

在mapreudce的类如IntWritable,LongWritable,Text等基本类型都有一个内置的比较函数，而我们可以对其进行修改实现简单的倒序排序（Job.setSortComparatorClass(Class)）。默认都是正序的从小到大。
默认比较方法：

//如果是LongWritable类型的直接写成LongWritable.Comparaor即可,以此类推
public static class MyNumberComparator extends IntWritable.Comparator  
	{
		@Override
		public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) 
		{
			return super.compare(b1, s1, l1, b2, s2, l2);
		}
		
	}

而我们将其返回值前面加一个减号就可以实现倒序排序

public static class MyNumberComparator extends IntWritable.Comparator
	{
		@Override
		public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) 
		{
			return -super.compare(b1, s1, l1, b2, s2, l2);
		}
		
	}

我也编了一个例子并进行了验证可以，代码及结果

package com.mr2;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

//对数字进行排序，定义自己的规则  

public class SortOne
{
	public static class MyMapper extends Mapper<LongWritable,Text,IntWritable,NullWritable>
	{
		protected void map(LongWritable key,Text value,Context context) throws IOException, InterruptedException
		{
			String s = value.toString();
			int m = Integer.parseInt(s);
			context.write(new IntWritable(m), NullWritable.get());
		}
	}
	public static class MyNumberComparator extends IntWritable.Comparator
	{
		@Override
		public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) 
		{
			return -super.compare(b1, s1, l1, b2, s2, l2);
		}
		
	}
	public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {
		// TODO Auto-generated method stub
	Configuration conf = new Configuration();
    Job job = Job.getInstance(conf);
    job.setJarByClass(SortOne.class);
    job.setMapperClass(MyMapper.class);
    job.setMapOutputKeyClass(IntWritable.class);
    job.setMapOutputValueClass(NullWritable.class);
    //指定特定的比较类
    job.setSortComparatorClass(MyNumberComparator.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job,new Path(args[1]));
    job.waitForCompletion(true);
 
	}

}

结果：

但我在运行的过程中也发生了错误，错误提示为

java.lang.Exception: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :java.lang.NoSuchMethodException: com.mr2.SortOne$MyNumberComparator.(
)

原因是因为我没有使用static修饰 MyNumberComparator类。所有static成员都是在程序装载时初始化的，被分配在一块静态存储区域。 这个区域的成员一旦被分配，就不会再改变地址，直到程序结束才会被释放。在Java机制中，当一个方法或者变量需要进行初始化加载，或者是经常被调用的时候需要用static关键字进行修饰。用static修饰的方法可以用类名直接调用，而不用需要一定要先实例化一个对象然后才可以调用。因为在main函数中是按照类名来调用方法的,所以要将MyNumberComparator类申明为静态的。