【hadoop 学习笔记-2】wordcount 完整实例

最新推荐文章于 2024-04-19 19:47:02 发布

Zonson9999

最新推荐文章于 2024-04-19 19:47:02 发布

阅读量2.1k

点赞数 1

分类专栏： hadoop 文章标签： hadoop maven big data

本文链接：https://blog.csdn.net/wuzhong8809/article/details/119102279

版权

本文详细介绍了在IDEA中使用Maven创建Hadoop WordCount项目的过程，包括配置POM.xml，编写Mapper、Reducer类，以及运行和查看结果的步骤。通过一个完整的实例展示了Hadoop处理文本数据的基本操作。

摘要由CSDN通过智能技术生成

开发工具

IDEA

创建Maven项目

New Project-> Maven ，取名为 WordCountDemo ，然后点Finish 即可。

POM.XML 中添加项目依赖


    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
        </dependency>

    </dependencies>