1.定义
mapreduce计算过程中的输出Key-Value,都是按key自动排序,此为一次排序。
如果既要按key作第一排序,同时把value作第二排序的方式,称为二次排序。
如图所示:
2.工作流程图(按value降序)
3.核心思想
将map端输出的
package com.tl.core.secondsort;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
// 启动mr的driver类
public class SecondSortV3 {
/**
* 自定义的newKey
*/
public static class KeyPairWritable implements
WritableComparable<KeyPairWritable> {
// 组合key,key1是分区key,key2是二次排序key
private String key1;
private int key2;
//空构造方法为了方便反射
public KeyPairWritable() {
}
public KeyPairWritable(String key1, int key2) {