IDEA在WIN系统下搭建调试HADOOP3的MR调试环境

Mickey_flY

于 2023-11-13 17:27:43 发布

阅读量516

点赞数 24

文章标签： intellij-idea mr java

本文链接：https://blog.csdn.net/Mickey_flY/article/details/134379502

版权

一、前言
使用IDEA在本地书写MR程序时候，需要打JAR包上传到服务器执行，不利于调试程序，本文探讨在反复修改程序调试的过程中利用本地环境就可以进行HDFS上的测试。
使用软件为IDEA2021.3+MAVEN3.8.8+HADOOP3.3.6
二、步骤
1、下载HADOOP3.3.6到本地磁盘，解压，注意这个bin目录，一会用到。

2、下载HADOOP的WIN工具，因为HADOOP版本较新，没有对应的，我选择的是3.3.5的。可以从https://github.com/cdarlint/winutils下载。
在这里插入图片描述

把其中的hadoop.dll和winutils.exe文件拷贝到刚才解压的HADOOP路径下的bin目录中。注意：最好放到C:\Windows\System32一份，不然有可能不能运行，可以自己测试。

3、配置系统环境变量，这里HADOOP_USER_NAME属性配置你的虚拟机上的用户，有的不写也行，但是最好指定。
在这里插入图片描述

4、将Hadoop的相关配置文件添加到项目的resources文件夹下，没有的话可以创建此文件夹。

注意：也有博客说把mapred-site.xml放进来，可以自己测试
如果想打印日志的话，还需要加上log4j.properties文件，里边代码如下：

需要有日志出现 则需要将下面的添加到src下的log4j.properties下(IDEA需要放在resource的目录下)
log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

5、书写程序，利用Maven创建项目，pom文件部分如下：

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.3.6</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>3.3.6</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.6</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>3.3.6</version>
        </dependency>