一:背景
数据排序是许多实际任务执行时需要完成的第一项工作,比如给销售额进行排名、求top N等操作都需要用到排序,使用MapReduce对数据进行简单排序思路是非常简单的。因为MapReduce本身就是支持排序的,MapReduce默认是对Key进行排序,我们可以将要排序的数据作为key进行输出就自动完成排序咯。
二:技术实现
#需求:现有如下数据,按从小到大进行排列
1
23
32
1
3
8
8
9
99
100
注:数据中有相同的数字,需要采用取巧的方法,保留相同的数据(见源代码)。
实现代码:
public class SimpleSortMapReduce {
// 定义输入输出路径
private static final String INPATH = "hdfs://liaozhongmin21:8020/sortFil