WordCount实例分析（二）

最新推荐文章于 2024-03-24 16:37:40 发布

乘风破浪的鱼摆摆.

最新推荐文章于 2024-03-24 16:37:40 发布

阅读量339

点赞数

分类专栏：大数据处理技术学习笔记文章标签： hadoop mapreduce

本文链接：https://blog.csdn.net/YKQCC/article/details/120770120

版权

本文继续分析WordCount实例，重点讲解reduce部分。reduce函数整合相同key的单词，累加value值。通过创建MyReducer类，继承Reducer基类，重写reduce方法，实现对中间结果的处理。该过程涉及Reducer类的泛型参数解释，以及reduce方法如何处理map输出的键值对。

摘要由CSDN通过智能技术生成

接上篇blog下面来写reduce函数。reduce函数负责将key相同的单词合并，并将对应的value值放入一个集合中，对集合中的数值进行累加。所以map函数的输出到达reduce的输入时，就变成了键值对列表的集合。

由于reduce函数也是分布式并行计算的，则需要写一个 MyReducer类去继承Mapreduce框架提供的对reduce函数定义的Reducer类，然后对该类中的reduce函数进行重写。

MyReducer类

MyReducer类继承自reducer类，负责重写父类Reducer中的reduce函数

package com.qst.test;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {	

	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedEx