hadoop mapreduce求平均分

最新推荐文章于 2023-05-30 23:25:18 发布

落涯

最新推荐文章于 2023-05-30 23:25:18 发布

阅读量1.9k

点赞数

分类专栏： hadoop 文章标签： MapReduce 求平均分

本文链接：https://blog.csdn.net/limiteewaltwo/article/details/8897273

版权

该博客介绍了如何运用Hadoop MapReduce计算课程成绩的平均分。通过MapReduce的分治策略，将相同课程名的成绩聚合在一起，在Reduce阶段计算平均值。

摘要由CSDN通过智能技术生成

求平均分的关键在于，利用mapreduce过程中，一个key聚合在一起，输送到一个reduce的特性。

假设三门课的成绩如下：

china.txt

张三    78
李四    89
王五    96
赵六    67

english.txt

张三    80
李四    82
王五    84
赵六    86

math.txt

张三	88
李四	99
王五	66
赵六	72

mapreduce如下：

public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
    	
        // 实现map函数
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            // 将输入的纯文本文件的数据转化成String
            String line = value.toString();
            // 将输入的数据首先按行进行分割
            StringTokenizer tokenizerArticle = new StringTokenizer(line, "\n");
            // 分别对每一行进行处理
            wh