Hadoop启蒙demo——单词统计WordCount(Intellij IDEA版)

最新推荐文章于 2022-10-21 09:24:55 发布

a2370889_com

最新推荐文章于 2022-10-21 09:24:55 发布

阅读量638

点赞数

分类专栏： Hadoop 大数据

本文链接：https://blog.csdn.net/a2370889_com/article/details/80568238

版权

本文提供了一种使用Intellij IDEA运行Hadoop WordCount demo的方法，无需繁琐的打包和环境配置。通过在Mapper和Reducer类中实现逻辑，并在主函数中设置输出，可以在控制台直接观察到统计结果。

摘要由CSDN通过智能技术生成

写在代码之前

在网上搜了很多都说要打包jar，或者需要在环境变量中写入，比较繁琐。但是笔者写的这个代码也是能直接跑的，正常输出结果。主要是要有下面这行代码，会在控制台打印出运行结果并在完成后退出，这样看着比较直观一点。

System.exit(job.waitForCompletion(true) ? 0 : 1);

Mapper类

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.util.Arrays;

public class MapperTest extends Mapper<LongWritable
        , Text, Text, IntWritable> {
    /**
     * @param key     文本的行号
     * @param value   待统计单词的文本
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, In