hadoop示例程序 WordCount详解

最新推荐文章于 2022-08-28 03:46:57 发布

梁天超

最新推荐文章于 2022-08-28 03:46:57 发布

阅读量5.4k

点赞数 2

分类专栏： Hadoop 文章标签： hadoop wordcount

本文链接：https://blog.csdn.net/LTianchao/article/details/17757663

版权

本文详细介绍了Hadoop框架中的WordCount示例程序，该程序用于统计文本中每个单词的出现频率。通过分析两个输入文本，输出每个单词及其对应的出现次数。内容涵盖Mapper和Reducer类的继承及主函数的实现。

摘要由CSDN通过智能技术生成

hadoop框架由三部分组成,包括两个类(分别继承于mapper类和reducer类)以及一个主函数.

WordCount示例功能为统计文本中的单个单词出现频率. 输入两个文本,输出为单词和出现次数的对应关系.

下面对代码进行详细注释:

package org.apache.hadoop.examples;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

  public static class TokenizerMapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    
    private final static IntWritable one = new IntWritable(1);  //建立"int"型变量one