window上使用idea运行Hadoop自带的WordCount示例代码

最新推荐文章于 2024-04-28 04:46:43 发布

qq_40059532

最新推荐文章于 2024-04-28 04:46:43 发布

阅读量780

点赞数 1

分类专栏： Hadoop 文章标签： idea运行hadoop程序运行hadoop自带的WordCount

本文链接：https://blog.csdn.net/qq_40059532/article/details/103432487

版权

本文详细介绍了如何在Windows上使用IntelliJ IDEA和Maven运行Hadoop自带的WordCount示例。从创建Maven项目、配置依赖到编写WordCount代码，再到设置运行配置和理解运行结果，每个步骤都有清晰的指导。关键点包括使用jdk1.8、添加必要的Hadoop依赖、设置log4j配置文件以及注意输出文件夹的存在。

摘要由CSDN通过智能技术生成

折腾了好久，昨天终于把Hadoop安装在了window！！！有兴趣的也可以看一下怎么安装window安装hadoop

安装完之后最关键的还是要知道怎么用吧，下面就使用Hadoop自带的WordCount例子运行一下

工具：idea和maven（没有的话可以去下载，安装方法很简单，和jdk的安装一样，如果嫌麻烦，使用idea自带的maven也可以）

new一个项目，选择使用maven构建，注意一定要选择jdk1.8，然后下面的就一直点next，填写项目名称就可以（使用过maven的话构建一个新项目不难，如果不懂的可以去百度一下怎么使用maven）
在这里插入图片描述
构建完之后项目结构如下（不包括input文件夹和output文件夹）

然后我们新建一个文件夹input，注意这个文件夹要和src同目录，也就是放在hadoop项目目录下面，然后右击input文件夹，并把它设置为Excluded，然后在input下面建一个test.txt文件，在里面写一些单词，最好单词多一些，并且存在大量重复的单词。output文件夹是程序运行时自动生成的，不用去创建
在这里插入图片描述

下面是代码部分：

1、添加pom.xml的依赖：在pom文件中添加以下代码

<dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.1.3</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>