Hadoop学习问题6：Did not find winutils.exe

最新推荐文章于 2023-10-30 16:36:31 发布

愿你被这个世界温暖相待

最新推荐文章于 2023-10-30 16:36:31 发布

阅读量7.4k

点赞数 4

分类专栏： # Hadoop学习问题总结文章标签： hadoop big data hdfs

本文链接：https://blog.csdn.net/qq_43967413/article/details/121745669

版权

Hadoop学习问题总结专栏收录该内容

10 篇文章 2 订阅

订阅专栏

这篇博客介绍了在IDEA中执行HDFS时遇到的错误，即无法找到winutils.exe和hadoop.dll。原因是安装目录下缺失这两个文件。解决方法是下载hadoop3.1.2版本的winutils.exe和hadoop.dll，放入bin目录下。需要注意的是，使用补丁可能引起API兼容问题，建议直接使用hadoop3.1.2以避免潜在问题。

摘要由CSDN通过智能技术生成

问题描述

IDEA执行HDFS的时候出现以下错误

21/12/06 22:38:58 WARN Shell: Did not find winutils.exe: {}
java.io.FileNotFoundException: Could not locate Hadoop executable: D:\main\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems
at org.apache.hadoop.util.Shell.getQualifiedBinInner(Shell.java:620)
at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:593)
at org.apache.hadoop.util.Shell.(Shell.java:690)
at org.apache.hadoop.util.StringUtils.(StringUtils.java:78)

原因分析

D:\main\hadoop-3.1.3\bin目录下不存在winutils.exe和hadoop.dll文件

解决

因为我用的是hadoop 3.1.3版本，但是在github上没有，所以可以取相近的版本3.1.2，由于github比较慢，这里就使用的Gitee。到这里边下载地址去下载里边的winutils.exe和hadoop.dll文件，并放到你安装目录下的bin目录下

在这里插入图片描述

其他

上述进行修补的操作，目前有部分的API会出现兼容问题，这里建议换成hadoop 3.1.2，本文发表的这个时间github上并没有3.1.3相关的包，使用3.1.2也是差不多---------hadoop3.1.2下载地址

愿你被这个世界温暖相待

关注

4
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
Hadoop学习问题6：Did not find winutils.exe

问题描述IDEA执行HDFS的时候出现以下错误21/12/06 22:38:58 WARN Shell: Did not find winutils.exe: {}java.io.FileNotFoundException: Could not locate Hadoop executable: D:\main\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblemsat org.apache.
复制链接

扫一扫

专栏目录