大数据学习踩坑之 HADOOP_HOME and hadoop.home.dir are unset.

最新推荐文章于 2024-07-06 18:14:38 发布

偷偷玩两下

最新推荐文章于 2024-07-06 18:14:38 发布

阅读量1.9w

点赞数 18

分类专栏：大数据

本文链接：https://blog.csdn.net/HeyShHeyou/article/details/103441110

版权

大数据专栏收录该内容

8 篇文章 3 订阅

订阅专栏

问题描述

java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

本地远程连接 Hadoop 集群异常，日志如下：

java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
	at org.apache.hadoop.util.Shell.checkHadoopHomeInner(Shell.java:448)
	at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:419)
	at org.apache.hadoop.util.Shell.<clinit>(Shell.java:496)
	at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79)
	at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:2972)
	at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:2968)
	at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2830)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:389)
	at org.apache.hadoop.fs.FileSystem$1.run(FileSystem.java:171)
	at org.apache.hadoop.fs.FileSystem$1.run(FileSystem.java:168)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:168)
	at com.demo.zhulong.utils.FileUtils.uploadToHdfs(FileUtils.java:209)
	at com.demo.zhulong.controller.ImagesController.upload(ImagesController.java:151)

日志描述内容很清楚，没有设置 HADOOP_HOME 和 hadoop.home.dir 两项。这两项主要是干嘛的呢？是配置在本地环境变量中的 Hadoop 地址，那么需要下载Windows版本的Hadoop来设置么？如果是远程连接Linux上的Hadoop集群，则完全不需要再下载安装Windows版本的Hadoop！！！

本地远程连接Hadoop系统时需要在本地配置相关的Hadoop变量，主要包括hadoop.dll 与 winutils.exe 等。

winutils：

由于hadoop主要基于linux编写，winutil.exe主要用于模拟linux下的目录环境。当Hadoop在windows下运行或调用远程Hadoop集群的时候，需要该辅助程序才能运行。winutils是Windows中的二进制文件，适用于不同版本的Hadoop系统并构建在Windows VM上，该VM用以在Windows系统中测试Hadoop相关的应用程序。