mapreduce代码统计文本单词

首先打开idea导入lib包

读取文本

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

//LongWritable 偏移量 long 表示改行在文件中的位置，而不是行号
//Text map阶段的输入数据 一行文本信息 字符串类型 string
// Text map阶段的数据字符串类型 string
//IntWritable map阶段输出的value类型，对应java中的int类型，表示行号

public class WordCountMap extends Mapper<LongWritable, Text,Text, IntWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //读取每行文本
        String line = value.toString();
        //splite拆分每行
        String[] words = line.split(" ");//分词
        //去除每个单词
        for (String word : words){
            //将行数据转换为Text类型
            Text wordText = new Text(word);
            //将1 转变为IntWritable
            IntWritable outValue = new IntWritable(1);
            //写出单词跟对应1
            context.write(wordText,outValue);
        }

    }
}

用context.write输出

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;
/**
 *  Text 输入的字符串类型 序列化
 *  IntWritable 输入一串 1  序列化
 *  Text 输出的字符串类型 序列化
 *  IntWritable 输出的求和数组 序列化
 * **/
public class WordCountReduce extends Reducer <Text, IntWritable,Text,IntWritable>{
    /**
     * key 输入单词的名字
     * values 输入一串 1
     * context 输出的工具
     * **/
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum=0;
        for (IntWritable number:values) {
            sum += number.get();
        }
        context.write(key,new IntWritable());
    }
}

连接wordCountMap、WordCountReduce指定map阶段和reduce阶段的输出文件位置

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
    public static void main(String[] args) throws Exception{
        //定义配置对象
        Configuration conf = new Configuration();
        //定义一个工作任务对象
        Job job = Job.getInstance(conf);

        //获取map阶段的一个对象
        job.setMapperClass(WordCountMap.class);
        //指定map阶段的一个输出key
        job.setOutputKeyClass(Text.class);
        //指定map阶段输出的values类型
        job.setOutputValueClass(IntWritable.class);
        //map阶段的输出文件
        FileInputFormat.setInputPaths(job,new Path("C:/Users/LeiShuTin/Desktop/123.txt"));

        //指定Reduce的类
        job.setReducerClass(WordCountReduce.class);
        //指定reduce阶段的输出key
        job.setOutputKeyClass(Text.class);
        //指定reduce阶段输出的values类型
        job.setOutputValueClass(IntWritable.class);
        //指定reduce阶段的输出文件
        FileOutputFormat.setOutputPath(job,new Path("C:/Users/LeiShuTin/Desktop/456.txt"));

        //submit提交
        job.waitForCompletion(true);
    }
}