mapreduce练习1统计输入文件中每一行的第一个单词相同的行数

最新推荐文章于 2022-05-26 18:55:05 发布

@陌小军

最新推荐文章于 2022-05-26 18:55:05 发布

阅读量357

点赞数

文章标签： mapreduce hadoop hdfs

本文链接：https://blog.csdn.net/gjh0912/article/details/108756463

版权

本文介绍了使用MapReduce实现统计输入文件中每一行第一个单词相同的行数的过程，包括map阶段、reduce阶段的详细操作，以及程序的主函数和运行步骤。

摘要由CSDN通过智能技术生成

统计输入文件中每一行的第一个单词相同的行数

1.map操作

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;


public class KVTextMapper extends Mapper<Text,Text,Text, IntWritable> {
    IntWritable v = new IntWritable(1);
    @Override
    protected void map(Text key, Text value, Context context)
            throws IOException, InterruptedException {
        //写出
        context.write(key,v);
    }
}

2.reduce操作

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class KVTextReducer extends Reducer<Text, IntWritable,Text,IntWritable> {
    IntWritable v = new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context c