MapReduce编程实例2

MapReduce编程实例：

MapReduce编程实例（一）,详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析

MapReduce编程实例（二），计算学生平均成绩

MapReduce编程实例（三），数据去重

MapReduce编程实例（四），排序

MapReduce编程实例（五），MapReduce实现单表关联

 

MapReduce编程实例（六），MapReduce实现多表关联

 

 

实例二，计算学生的平均成绩，每个文件包括所有的学生成绩，格式为 姓名 成绩，有多少个科目，就有多少个输入文件。

如下

小明 23 
小强 57
小红 80
小飞 93
小刚 32
小木 99

 

实现代码：

 

[java]  view plain  copy

 

1. import java.io.IOException;  
2. import java.util.Iterator;  
3. import java.util.StringTokenizer;  
4.   
5. import org.apache.hadoop.conf.Configuration;  
6. import org.apache.hadoop.fs.Path;  
7. import org.apache.hadoop.io.FloatWritable;  
8. import org.apache.hadoop.io.Text;  
9. import org.apache.hadoop.mapreduce.Job;  
10. import org.apache.hadoop.mapreduce.Mapper;  
11. import org.apache.hadoop.mapreduce.Reducer;  
12. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
13. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
14. import org.apache.hadoop.util.GenericOptionsParser;  
15.   
16. /** 
17.  * 计算学生的平均成绩 
18.  * 学生成绩以每科一个文件输入 
19.  * 文件内容为：姓名 成绩 
20.  * @author daT dev.tao@gmail.com 
21.  * 
22.  */  
23. public class AverageScore {  
24.       
25.     public static class AverageMapper extends Mapper<Object, Text, Text, FloatWritable>{  
26.           
27.         @Override  
28.         protected void map(Object key, Text value, Context context)  
29.                 throws IOException, InterruptedException {  
30.             String line = value.toString();  
31.             StringTokenizer tokens = new StringTokenizer(line,"\n");  
32.             while(tokens.hasMoreTokens()){  
33.                 String tmp = tokens.nextToken();  
34.                 StringTokenizer sz = new StringTokenizer(tmp);  
35.                 String name = sz.nextToken();  
36.                 float score = Float.valueOf(sz.nextToken());  
37.                 Text outName = new Text(name);//new新的,set老是不对，具体为什么现在也不太清楚。  
38.                 FloatWritable outScore  = new FloatWritable(score);  
39.                 context.write(outName, outScore);  
40.             }  
41.         }  
42.           
43.     }  
44.       
45.     public static class AverageReducer extends Reducer<Text, FloatWritable, Text, FloatWritable>{  
46.         @Override  
47.         protected void reduce(Text key, Iterable<FloatWritable> value,Context context)  
48.                 throws IOException, InterruptedException {  
49.             float sum = 0;  
50.             int count = 0;  
51.             for(FloatWritable f:value){  
52.                 sum += f.get();  
53.                 count ++;//shuffle之后肯定是<名字,<成绩1，成绩2，成绩3....>>故一个value肯定是一门学科  
54.             }  
55.             FloatWritable averageScore = new FloatWritable(sum/count);new新的,set老是不对，具体为什么现在也不太清楚。  
56.             context.write(key, averageScore);  
57.         }  
58.           
59.     }  
60.       
61.       
62.     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException{  
63.         System.out.println("Begin");  
64.         Configuration conf = new Configuration();  
65.         String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();  
66.         if(otherArgs.length<2){  
67.             System.out.println("please input at least 2 arguments");  
68.             System.exit(2);  
69.         }  
70.           
71.         Job job = new Job(conf,"Average Score");  
72.         job.setJarByClass(AverageScore.class);  
73.         job.setMapperClass(AverageMapper.class);  
74.         job.setCombinerClass(AverageReducer.class);  
75.         job.setReducerClass(AverageReducer.class);  
76.         job.setOutputKeyClass(Text.class);  
77.         job.setOutputValueClass(FloatWritable.class);  
78.           
79.         FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
80.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
81.           
82.         System.exit(job.waitForCompletion(true)?0:1);  
83.           
84.         System.out.println("End");  
85.     }  
86.       
87. }  

 

配置输入输出参数：

 

[plain]  view plain  copy

 

1. hdfs://localhost:9000/user/dat/average_score_input hdfs://localhost:9000/user/dat/average_score_output  

得到输出结果：

 

小刚 65.333336
小强 80.333336
小明 48.333332
小木 92.333336
小红 83.333336
小飞 83.0

版权声明：本文为博主原创文章，未经博主允许不得转载。

转载于:https://www.cnblogs.com/gaochsh/p/7802266.html