IDEA配置hadoop依赖jar包（非Maven）

作者新手小白，仅为学习&交流
2020年3月26日22:12:29

IDEA配置hadoop依赖jar包（非Maven）

开发环境

OS： Win10
Hadoop版本： hadoop-3.1.2
IDE： Intelij IDEA 2019.3.3
Hadoop Path： E:\Hadoop\Hadoop\hadoop-3.1.2\hadoop-3.1.2

Win本地安装hadoop并配置环境变量

1.将搭建hadoop集群的.tar.gz文件直接解压（不要犹豫）

2.添加环境变量
HADOOP_HOME=E:\Hadoop\Hadoop\hadoop-3.1.2\hadoop-3.1.2
在Path环境变量后追加 ;%HADOOP_HOME%\bin

在bin目录下添加hadoop.dll和winutils.exe两个文件

windows本地运行mr程序时(不提交到yarn,运行在jvm靠线程执行)，很容易报错，所以将两个文件添加到bin目录下。
hadoop.dll防止报nativeio异常、winutils.exe没有的话可能报空指针异常。

注：要看准对应版本再安装

导入依赖jar包

1.新建一个IDEA项目
2.打开Project Structure


导入share/hadoop目录下的全部jar包
包括这些，直接选文件夹！

还有common/bin下的这些

因为common自己有一些jar包，导入的时候只识别了这些，而common/bin目录下的jar包没有被导入，所以再导一遍就ok辣

导入完毕，开始欢（wo）乐（cao）的写MR吧！

开始尽情的找bug吧

后记

**

如各位亲在阅读过程中发现有不妥的地方，请于作者联系或留言，感谢！

**