利用MapReduce求海量数据中最大的K个数

利用MapReduce求海量数据中最大的K个数

网上搜索到的那个top K问题的解法，我觉得有些地方都没有讲明白。因为我们要找出top K, 那么就应该显式的指明the num of reduce tasks is one. 

不然我还真不好理解为什么可以得到top K的结果。这里顺便提及一下，一个map task就是一个进程。有几个map task就有几个中间文件，有几个reduce task就有几个最终输出文件。好了，这就好理解了，我们要找的top K 是指的全局的前K条数据，那么不管中间有几个map, reduce最终只能有一个reduce来汇总数据，输出top K。

下面写出思路和代码：

1. Mappers

使用默认的mapper数据，一个input split（输入分片）由一个mapper来处理。

在每一个map task中，我们找到这个input split的前k个记录。这里我们用TreeMap这个数据结构来保存top K的数据，这样便于更新。下一步，我们来加入新记录到TreeMap中去（这里的TreeMap我感觉就是个大顶堆）。在map中，我们对每一条记录都尝试去更新TreeMap，最后我们得到的就是这个分片中的local top k的k个值。在这里要提醒一下，以往的mapper中，我们都是处理一条数据之后就context.write或者output.collector一次。而在这里不是，这里是把所有这个input split的数据处理完之后再进行写入。所以，我们可以把这个context.write放在cleanup里执行。cleanup就是整个mapper task执行完之后会执行的一个函数。

2.reducers

由于我前面讲了很清楚了，这里只有一个reducer，就是对mapper输出的数据进行再一次汇总，选出其中的top k，即可达到我们的目的。Note that we are using NullWritable here. The reason for this is we want all of the outputs from all of the mappers to be grouped into a single key in the reducer.

[java]  view plain  copy

1. package jtlyuan.csdn;  
2. import java.io.IOException;  
3. import org.apache.hadoop.conf.Configuration;  
4. import org.apache.hadoop.conf.Configured;  
5. import org.apache.hadoop.fs.Path;  
6. import org.apache.hadoop.io.IntWritable;  
7. import org.apache.hadoop.io.LongWritable;  
8. import org.apache.hadoop.io.Text;  
9. import org.apache.hadoop.mapreduce.Job;  
10. import org.apache.hadoop.mapreduce.Mapper;  
11. import org.apache.hadoop.mapreduce.Reducer;  
12. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
13. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  
14. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
15. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  
16. import org.apache.hadoop.util.Tool;  
17. import org.apache.hadoop.util.ToolRunner;  
18. //利用MapReduce求最大值海量数据中的K个数  
19. public class TopKNum extends Configured implements Tool {  
20. public static class MapClass extends Mapper<LongWritable, Text, IntWritable, IntWritable> {  
21. public static final int K = 100;  
22. private int[] top = new int[K];  
23. public void map(LongWritable key, Text value, Context context)  
24. throws IOException, InterruptedException {  
25. String[] str = value.toString().split(",", -2);  
26. try {// 对于非数字字符我们忽略掉  
27. int temp = Integer.parseInt(str[8]);  
28. add(temp);  
29. } catch (NumberFormatException e) {  
30. }  
31. }  
32. private void add(int temp) {//实现插入  
33. if(temp>top[0]){  
34. top[0]=temp;  
35. int i=0;  
36. for(;i<99&&temp>top[i+1];i++){  
37. top[i]=top[i+1];  
38. }  
39. top[i]=temp;  
40. }  
41. }  
42. @Override  
43. protected void cleanup(Context context) throws IOException,  
44. InterruptedException {  
45. for(int i=0;i<100;i++){  
46. context.write(new IntWritable(top[i]), new IntWritable(top[i]));  
47. }  
48. }  
49. }  
50. public static class Reduce extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable> {  
51. public static final int K = 100;  
52. private int[] top = new int[K];  
53. public void reduce(IntWritable key, Iterable<IntWritable> values, Context context)  
54. throws IOException, InterruptedException {  
55. for (IntWritable val : values) {  
56. add(val.get());  
57. }  
58. }  
59. private void add(int temp) {//实现插入if(temp>top[0]){  
60. top[0]=temp;  
61. int i=0;  
62. for(;i<99&&temp>top[i+1];i++){  
63. top[i]=top[i+1];  
64. }  
65. top[i]=temp;  
66. }  
67. }  
68. @Override  
69. protected void cleanup(Context context) throws IOException,  
70. InterruptedException {  
71. for(int i=0;i<100;i++){  
72. context.write(new IntWritable(top[i]), new IntWritable(top[i]));  
73. }  
74. }  
75. }  
76. public int run(String[] args) throws Exception {  
77. Configuration conf = getConf();  
78. Job job = new Job(conf, "TopKNum");  
79. job.setJarByClass(TopKNum.class);  
80. FileInputFormat.setInputPaths(job, new Path(args[0]));  
81. FileOutputFormat.setOutputPath(job, new Path(args[1]));  
82. job.setMapperClass(MapClass.class);  
83. job.setCombinerClass(Reduce.class);  
84. job.setReducerClass(Reduce.class);  
85. job.setInputFormatClass(TextInputFormat.class);  
86. job.setOutputFormatClass(TextOutputFormat.class);  
87. job.setOutputKeyClass(IntWritable.class);  
88. job.setOutputValueClass(IntWritable.class);  
89. System.exit(job.waitForCompletion(true) ? 0 : 1);  
90. return 0;  
91. }  
92. public static void main(String[] args) throws Exception {  
93. int res = ToolRunner.run(new Configuration(), new TopKNum(), args);  
94. System.exit(res);  
95. }  
96. }  
97. /* 
98. * 列举一部分出来： 
99. * 306 306 
100. 307 307 
101. 309 309 
102. 313 313 
103. 320 320 
104. 346 346 
105. 348 348 
106. 393 393 
107. 394 394 
108. 472 472 
109. 642 642 
110. 706 706 
111. 868 868 
112. */  

• MapReduce求海量数据中的最大值
• 下一篇Hbase API学习
•