(Hadoop)HADOOP_HOME and hadoop.home.dir are unset.
一:问题的出现
问题描述:在Windows上编写第一个WordCount程序运行时出现此错误
解决方案:需要在Windows本地搭建Hadoop环境,解决过程如下。
二:解决过程
1.去hadoop官网下载hadoop,镜像下载链接是https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
也可下载我的使用(3.2.1版本):
链接: https://pan.baidu.com/s/1_Zu1Kr6GKXp9cYLXDg_ICw 提取码: 3tag 复制这段内容后打开百度网盘手机App,操作更方便哦
下载winutils,下载离你hadoop最近的版本使用(比如我的hadoop3.2.1,我下载的winutils是3.0.0)
GitHub下载地址:https://github.com/steveloughran/winutils
这个只更新到3.0.0,另有一位牛人的版本链接https://gitee.com/shockingblue/winutils
我安装的3.0.0后面出现一些问题,大家尽量安装和你的hadoop对应的版本
感觉下载慢的话可以使用我的版本(3.0.0)
链接: https://pan.baidu.com/s/1iUV6GdvggHtxuJ31RBloaA 提取码: tjg6 复制这段内容后打开百度网盘手机App,操作更方便哦
2.解压文件,把.tar.gz压缩包解压到你想放入的文件夹目录下,最好路径不要有中文字符(个人习惯,防止出现莫名其妙的小错误)
若解压失败,找到你的WinRAR,右键点击属性,在兼容性里勾选以管理员身份运行此程序
3.在系统变量下配置HADOOP_HOME
之后点击三次确定退出编辑。
4.查看配置文件:hadoop-3.2.1/etc/hadoop目录下,找到hadoop-env.cmd,看jdk目录!
5.解压winutils得到一个bin目录
用该目录覆盖掉hadoop的bin目录,成功之后会看到下面那个exe文件
6.替换后将bin下面的hadoop.dll拷贝到C:\Windows\System32目录下
7.大功告成,记得重启idea哦