用IDEA编写一个wordcount

最新推荐文章于 2022-03-30 21:51:15 发布

myllxy

最新推荐文章于 2022-03-30 21:51:15 发布

阅读量2.9k

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/qq_39327985/article/details/82991659

版权

本文指导如何在IDEA中构建一个Maven项目，实现WordCount程序。首先在pom.xml中添加依赖，然后创建对应的mapper、reducer和driver类。driver类作为程序入口，指定mapper和reducer类以及输入输出路径。mapper类实现map阶段的业务逻辑，reduce类处理排序和聚合操作。最后，打包项目为jar包，并在Hadoop集群上运行。

摘要由CSDN通过智能技术生成

创建一个maven项目：

在pom.xml中插入以下代码，导入对应包：这里注意<mainClass>cn.itcast.hadoop.wordcountdrive</mainClass>，不添加主类路径hadoop jar ***.jar命令无法找到执行主类

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>C:/Program Files/Java/jdk1.8.0_144/lib/tools.jar</systemPath>
        </dependency>
    </dependencies>
    <build>
        <pluginManagement><!-- lock down plugins versions to avoid