MapReduce中词频统计实现（combiner合并）

最新推荐文章于 2022-12-16 09:51:45 发布

swx7410852963

最新推荐文章于 2022-12-16 09:51:45 发布

阅读量496

点赞数

分类专栏：脑图外链 # Hadoop 文章标签： mapreduce java hadoop

本文链接：https://blog.csdn.net/swx7410852963/article/details/122242469

版权

本文介绍了如何在MapReduce中利用Combiner进行词频统计，通过自定义Driver类WordCountDriver实现。运行结果显示，15条输入数据被分成了5组，并展示了每组的词及其频率。

摘要由CSDN通过智能技术生成

输入数据

test1
test2 test2
test3 test3 test3
test4 test4 test4 test4
test5 test5 test5 test5 test5

自定义Driver类(WordCountDriver)

将 MapReduce中词频统计简单实现中WordCountDriver改为如下代码，其他代码不变

package com.test.mapreduce.combiner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 1.创建配置信息Configuration对象并获取Job单例对象
        Configuration