IDEA中使用MapReduce实现wordcount和join

最新推荐文章于 2024-06-11 20:12:19 发布

屡傻不改

最新推荐文章于 2024-06-11 20:12:19 发布

阅读量433

点赞数 1

分类专栏： Hadoop 文章标签： mapreduce

本文链接：https://blog.csdn.net/qianchun22/article/details/108527552

版权

本文介绍了如何在IDEA中利用MapReduce实现wordcount词频统计。首先，添加必要的maven依赖，然后编写mapper类，将文本转化为单词并输出。接着，介绍reduce类的编写，用于对map结果进行排序和合并。最后，编写driver类来驱动整个流程。

摘要由CSDN通过智能技术生成

在IDEA中实现wordcount词频统计

需求分析：
1.Map过程:并行读取文本,对读取的单词进行map操作,每个词都以<key,value>形式生成
2.Reduce操作是对map的结果进行排序合并最后得出词频

1.添加maven依赖

注意hadoop-core依赖与hadoop-auth冲突，要求先注释掉。

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>test</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.6.0</version>
    </dependency>
<!--    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-core</artifactId>
      <version>