MapReduce代码统计文本单词

该博客介绍了如何使用MapReduce进行文本单词统计。在Map阶段,每行数据被拆分,每个单词写一个1。在Reduce阶段,将单词对应的1求和,得到最终每个单词的出现次数。示例中,单词如'hello'出现了5次,'jerry'出现了1次等。
摘要由CSDN通过智能技术生成

Map阶段

.每次读一行数据,

2.拆分每行数据,

3.每个单词碰到一次写个1

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

public class WordCountMap extends Mapper <LongWritable,Text,Text, IntWritable> {
    @Override
    protected void map(LongWritable key,Text value,Context context)throws IOException,InterruptedException{
        //读取每行文本
        String line = value.toString();
        //splite拆分每行
        String[] words = line.split("");
        //取出每个单词
        for (String word:words){
            //将单词转为text类型
            Text wordText = new Text(word);
            //将1转换成IntWritable
            IntWritable outValue=new IntWritable(1);
            //写出单词,跟对应1
            context.write(wordText,outValue);
        }
    }
}

reduce阶段

1.把单词对应的那些1<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值