Hadoop学习问题6：Did not find winutils.exe

问题描述

IDEA执行HDFS的时候出现以下错误

21/12/06 22:38:58 WARN Shell: Did not find winutils.exe: {}
java.io.FileNotFoundException: Could not locate Hadoop executable: D:\main\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems
at org.apache.hadoop.util.Shell.getQualifiedBinInner(Shell.java:620)
at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:593)
at org.apache.hadoop.util.Shell.(Shell.java:690)
at org.apache.hadoop.util.StringUtils.(StringUtils.java:78)

原因分析

D:\main\hadoop-3.1.3\bin目录下不存在winutils.exe和hadoop.dll文件

解决

因为我用的是hadoop 3.1.3版本，但是在github上没有，所以可以取相近的版本3.1.2，由于github比较慢，这里就使用的Gitee。到这里边下载地址去下载里边的winutils.exe和hadoop.dll文件，并放到你安装目录下的bin目录下

其他

上述进行修补的操作，目前有部分的API会出现兼容问题，这里建议换成hadoop 3.1.2，本文发表的这个时间github上并没有3.1.3相关的包，使用3.1.2也是差不多---------hadoop3.1.2下载地址