MapReduce自定义排序

有人说mapreduce中不是有一个自动排序和分组（按key排序和分组）的嘛，我们为什么还需要自己写排序算法呢？

因为很多时候这种自动排序无法满足我们的需求，所以我们需要自定义排序算法！

需求1：

#首先按照第一列升序排列，当第一列相同时，第二列升序排列
3 3
3 2
3 1
2 2
2 1
1 1
----结果---------------
1 1
2 1
2 2
3 1
3 2
3 3

需求2：
#：第一列降序排列，第一列相同时，第二列升序排列
3 1
3 2
3 3
2 1
2 2
1 1

----结果-----------------

3       1
3       2
3       3
2       1
2       2
1       1

需求已出来，接下来我们实现！

[java]  view plain copy

1. package sort;  
2.   
3. import java.io.IOException;  
4. import java.net.URI;  
5.   
6. import org.apache.hadoop.conf.Configuration;  
7. import org.apache.hadoop.fs.FileSystem;  
8. import org.apache.hadoop.fs.Path;  
9. import org.apache.hadoop.io.LongWritable;  
10. import org.apache.hadoop.io.Text;  
11. import org.apache.hadoop.mapreduce.Job;  
12. import org.apache.hadoop.mapreduce.Mapper;  
13. import org.apache.hadoop.mapreduce.Reducer;  
14. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
15. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  
16. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
17. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  
18. import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;  
19.   
20. public class MySortApp {  
21.       
22.     public static final String INPUT_PATH="hdfs://192.168.0.9:9000/data";  
23.     public static final String OUTPUT_PATH="hdfs://192.168.0.9:9000/sortData";  
24.       
25.     public static void main(String[] args) throws Exception {  
26.         Configuration conf = new Configuration();  
27.         Job job = new Job(conf,MySortApp.class.getSimpleName());  
28.           
29.         //设置输入路径  
30.         FileInputFormat.addInputPath(job, new Path(INPUT_PATH));  
31.         //设置输入格式化  
32.         job.setInputFormatClass(TextInputFormat.class);  
33.           
34.         //设置自定义map  
35.         job.setMapperClass(MyMapper.class);  
36.         //设置map输出类型  
37.         job.setMapOutputKeyClass(MyK2.class);  
38.         job.setMapOutputValueClass(LongWritable.class);  
39.           
40.         //分区  
41.         job.setPartitionerClass(HashPartitioner.class);  
42.         //设置reduce任务  
43.         job.setNumReduceTasks(1);  
44.           
45.         //排序、分组  
46.           
47.         //规约  
48.           
49.         //设置自定义reduce类  
50.         job.setReducerClass(MyReduce.class);  
51.         //设置reduce输出类型  
52.         job.setOutputKeyClass(LongWritable.class);  
53.         job.setOutputValueClass(LongWritable.class);  
54.           
55.         //删除已存在的路径  
56.         FileSystem fileSystem = FileSystem.get(new URI(INPUT_PATH), conf);  
57.         Path path=new Path(OUTPUT_PATH);  
58.         if(fileSystem.exists(path)){  
59.             fileSystem.delete(path,true);  
60.         }  
61.           
62.         //设置输出路径  
63.         FileOutputFormat.setOutputPath(job, new Path(OUTPUT_PATH));  
64.         //设置输出格式化类  
65.         job.setOutputFormatClass(TextOutputFormat.class);  
66.           
67.         //提交任务  
68.         job.waitForCompletion(true);  
69.     }  
70.       
71.     static class MyMapper extends Mapper<LongWritable, Text, MyK2, LongWritable>{  
72.         @Override  
73.         protected void map(LongWritable key, Text value,Context context)  
74.                 throws IOException, InterruptedException {  
75.             String[] split = value.toString().split("\t");  
76.             MyK2 myK2 = new MyK2(Long.parseLong(split[0]), Long.parseLong(split[1]));  
77.             context.write(myK2, new LongWritable(Long.parseLong(split[1])));  
78.         }  
79.     }  
80.       
81.     static class MyReduce extends Reducer<MyK2, LongWritable,LongWritable, LongWritable>{  
82.         @Override  
83.         protected void reduce(MyK2 myk2, Iterable<LongWritable> v2s,Context context)  
84.                 throws IOException, InterruptedException {  
85.             context.write(new LongWritable(myk2.myk2), new LongWritable(myk2.myv2));  
86.         }  
87.     }  
88. }  

[java]  view plain copy

1. package sort;  
2.   
3. import java.io.DataInput;  
4. import java.io.DataOutput;  
5. import java.io.IOException;  
6.   
7. import org.apache.hadoop.io.WritableComparable;  
8.   
9. public class MyK2 implements WritableComparable<MyK2>{  
10.   
11.     public long myk2;  
12.     public long myv2;  
13.       
14.     public MyK2() {  
15.         // TODO Auto-generated constructor stub  
16.     }  
17.   
18.     public MyK2(long myk2, long myv2) {  
19.         this.myk2 = myk2;  
20.         this.myv2 = myv2;  
21.     }  
22.   
23.     @Override  
24.     public void write(DataOutput out) throws IOException {  
25.         out.writeLong(myk2);  
26.         out.writeLong(myv2);  
27.     }  
28.   
29.     @Override  
30.     public void readFields(DataInput in) throws IOException {  
31.         this.myk2=in.readLong();  
32.         this.myv2=in.readLong();  
33.     }  
34.       
35.     /** 
36.      * #首先按照第一列升序排列，当第一列相同时，第二列升序排列 
37.      * 当k2进行排序时，会调用该方法. 
38.      * 当第一列不同时，升序；当第一列相同时，第二列升序 
39.      */  
40.     /* 
41.     @Override 
42.     public int compareTo(MyK2 my) { 
43.         long temp=this.myk2-my.myk2; 
44.         if(temp!=0){ 
45.             return (int) temp; 
46.         } 
47.         return (int) (this.myv2-my.myv2); 
48.     } 
49.     */  
50.     /** 
51.      * ###作业：第一列降序排列，第一列相同时，第二列升序排列 
52.      * 当k2进行排序时，会调用该方法 
53.      * 第一列：降序，当第一列相同时，第二列：升序 
54.      */  
55.     @Override  
56.     public int compareTo(MyK2 my) {  
57.         long temp=this.myk2-my.myk2;  
58.         if(temp>0){  
59.             temp=-1;  
60.             return (int) temp;  
61.         }else if(temp<0){  
62.             temp=1;  
63.             return (int) temp;  
64.         }  
65.         return (int) (this.myv2-my.myv2);  
66.     }  
67.   
68.     /* (非 Javadoc)  
69.      *   
70.      *   
71.      * @param obj 
72.      * @return  
73.      * @see java.lang.Object#equals(java.lang.Object)  
74.      */   
75.     @Override  
76.     public boolean equals(Object obj) {  
77.         // TODO Auto-generated method stub  
78.         return super.equals(obj);  
79.     }  
80.   
81.     /* (非 Javadoc)  
82.      *   
83.      *   
84.      * @return  
85.      * @see java.lang.Object#hashCode()  
86.      */   
87.     @Override  
88.     public int hashCode() {  
89.         // TODO Auto-generated method stub  
90.         return super.hashCode();  
91.     }  
92.       
93.       
94.   
95. }  

呵呵，基本功能实现！（thanks 超哥）