Hadoop本地调试环境搭建

Hadoop版本：3.1.1

0、直接在linux桌面上进行环境搭建，windows坑比较多，不进行尝试

1、安装idea、jdk8和maven，maven貌似有版本要求的，我装的3.8.5

2、安装ptotobuf，版本必须是2.5.0，配置好环境变量，执行protoc --version能得到如下结果即安装成功

3、编译Hadoop，在Hadoop代码根目录下执行：mvn clean package -Pdist -DskipTests
这样编译的Hadoop没有yarn ui2，如果需要则需增加编译选项-Pyarn-ui，详情见：hadoop yarn ui2编译问题记录

4、配置环境变量：

export HADOOP_HOME=/data/hadoop/hadoop-dist/target/hadoop-3.1.1
export HADOOP_CONF_DIR=/data/hadoop/hadoop-dist/target/hadoop-3.1.1/etc/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin

我这里Hadoop的代码是在/data/hadoop目录

5、直接在idea中启动NameNode类会报”找不到或无法加载主类“的错误
需要把依赖的类路径都添加进来
执行hadoop classpath命令，即可得到依赖的类路径，添加到启动参数中：


然后就可以开始愉快的进行调试了

参考：
https://cwiki.apache.org/confluence/display/HADOOP2/HowToSetupYourDevelopmentEnvironment