在 Windows 上使用 Idea 本地调试 Hadoop 程序

1 配置 windows 上的 Hadoop 环境变量

在 windows 上配置 Hadoop 需要第三方编译的 windows 的二进制文件，该文件在 GitHub 上可以找到 windows-hadoop-winutils，在 wiki - Problems running Hadoop on Windows 上可以看到官方对此的解释。

所以我们在官网下载 Hadoop-2.8.1，并且下载上文提到的对应的 wintuils，将 winutils 中的文件拷贝至 hadoop-2.8.1\bin\，如图所示

然后配置 Hadoop 的环境：
- 在环境变量中添加 HADOOP_HOME，路径为 hadoop 的根目录
- 在 PATH 中添加 %HADOOP_HOME\bin%

2 使用 IDEA 本地运行 Hadoop 应用

配置依赖

使用 Maven

用 IDEA 新建一个 Maven 项目，在 pom 文件中添加 Hadoop 的依赖

    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.8.2</version>
    </dependency>

在 src 目录下新建 resources 文件夹并设置为 Resources

在该文件夹下添加 log4j.properties

# Set root logger level to DEBUG and its only appender to A1.
log4j.rootLogger=DEBUG, A1

# A1 is set to be a ConsoleAppender.