MapReduce的wordcount代码

最新推荐文章于 2022-11-11 20:32:53 发布

@xiaoluo

最新推荐文章于 2022-11-11 20:32:53 发布

阅读量2.4k

点赞数

文章标签： hadoop 数据仓库

本文链接：https://blog.csdn.net/m0_64016142/article/details/123843251

版权

本文档详细介绍了如何在IDEA环境中编写Java程序，实现Hadoop的MapReduce操作，专注于WordCount的经典案例。包括Mapper、Reducer代码的编写，以及测试类（Driver）的实现和运行展示。

摘要由CSDN通过智能技术生成

一.在IDEA下编写java程序实现hadoop的wordcount操作。

Mapper代码：

package MapReduce_wc;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.util.Locale;

public class MRMapper extends Mapper<LongWritable,Text,Text,IntWritable> {

    IntWritable ONE = new IntWritable(1);
    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        System.out.println("-----------setup-----------");
    }

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        System.out.println("-----------map-------------------");

        //获取内容并转为小写
        final String line = value.toString().toLowerCase(Locale.ROOT);

        //按照分隔符进行拆分
        final String[] splits