MapReduce之单词（字母）个数的统计

最新推荐文章于 2021-08-04 16:34:34 发布

戴桥冰

最新推荐文章于 2021-08-04 16:34:34 发布

阅读量3k

点赞数 1

分类专栏： hadoop1.x.x 文章标签： hadoop mapreduce

本文链接：https://blog.csdn.net/qq_21178933/article/details/48931927

版权

本文提供了一个使用Hadoop MapReduce进行单词和字母统计的Java实现案例。Mapper类通过split方法拆分输入文本行，针对每个字符输出键值对，Reducer则对相同字符的值进行求和，得出每个字符的总数。最终结果存储在指定的输出路径中。

摘要由CSDN通过智能技术生成

package com.hadoop.study;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
*
* @author：戴桥冰 2015-10-6 上午10:33:54 content：hadoop的单词统计案例
*/
public class WordCount {

   /**
   * map代码块
   */
   static class MapperCount extends
           Mapper<LongWritable, Text, Text, IntWritable> {
<