windows下IDEA本地运行MapReduce

最新推荐文章于 2022-01-10 16:56:38 发布

原创

最新推荐文章于 2022-01-10 16:56:38 发布 · 827 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍了在Windows上使用IntelliJ IDEA（IDEA）进行本地MapReduce开发的详细步骤，包括下载Hadoop和相关组件，配置环境变量，创建Maven项目，设置JVM参数，以及编写并运行WordCount示例。

github下载对应版本的hadoop.dll 和 winutils.exe
下载地址
配置环境变量
步骤1下载的东西放到这个目录里面，

在Path中添加如下
IDEA创建Maven项目
pom文件

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <hadoop.version>2.6.0-cdh5.15.1</hadoop.version>
  </properties>

  <repositories>
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
  </reposit