MapReduce案例2——求学生平均成绩

最新推荐文章于 2024-05-11 14:39:48 发布

jin6872115

最新推荐文章于 2024-05-11 14:39:48 发布

阅读量5.1k

点赞数 3

分类专栏： MapReduce 文章标签： mapreduce 求学生平均成绩

本文链接：https://blog.csdn.net/jin6872115/article/details/79586246

版权

该博客介绍了如何运用MapReduce解决求学生平均成绩的问题，通过将姓名作为key，成绩作为value进行数据分组，然后在reduce阶段计算平均值，实现了类似SQL中按姓名分组求平均分的功能。

摘要由CSDN通过智能技术生成

题目：

计算学生考试平均成绩 源数据：
张三 98
李四 96
王五 95
张三 90
李四 92
王五 99
张三 80
李四 90
王五 94
张三 82
李四 92

最终答案：
张三		98
李四		87
王五		86
上面的答案仅是格式，非正确数据

思路：姓名作为key，成绩作为value，在map分组，在reduce中求平均值

类似于SQL中的select name, avg(score) from studentscore group by name;

代码：

/**
 * @author: lpj   
 * @date: 2018年3月16日 下午7:16:47
 * @Description:
 */
package lpj.reduceWork;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.h