我一直认为,我本地的idea就是个调用远程hadoop的作用,所以本地的windows操作系统中不需要安装hadoop了。所以我看到这个HADOOP_HOME的时候一直不明白,难道我还需要在我本地安装一个hadoop吗????
答案:不需要安装hadoop,但是需要配置%HADOOP_HOME%变量。
解决方案:
根据自己服务器版本,下载相应的winutils
winutils介绍:适用于Hadoop版本的Windows二进制文件,这些是直接从用于创建官方ASF版本的相同git提交构建的; 它们被检出并构建在Windows VM上,该VM专用于在Windows上测试Hadoop / YARN应用程序。它不是日常使用的系统,因此与驱动器/电子邮件安全攻击隔离。
2、下载Hadoop3.1.4
访问下载链接: https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz 下载hadoop-3.1.4.tar.gz,并解压到规划的路径下,如下图:(这里3.1.2适用于3.1.4)
配好之后idea关闭再重启,不再报HADOOP_HOME and hadoop.home.dir are unset.的错误