spark2.2.0匹配的hadoop版本_[问题解决篇-32] hadoop 各个版本的hadoop.dll 下载路径

在Windows环境下运行Hadoop时遇到log4j初始化警告和NativeIO.dll缺失的问题。解决方法包括复制hadoop.dll到系统目录及确保winutils.exe在Hadoop bin目录下。参考链接提供了不同版本的winutils下载,针对Hadoop 3.2.1的解决方案。
摘要由CSDN通过智能技术生成

在windows上面运行执行报错如下:

330733b4d4b036bcae59160e183027a8.png
log4j:WARN No appenders could be found forlogger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4jsystem properly.
log4j:WARN Seehttp://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
       at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
       at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)
       at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:977)

C:WindowsSystem32下缺少hadoop.dll,把这个文件拷贝到C:WindowsSystem32下面即可。

当出现如下错误的时候,说明在Hadoop的家目录中的bin目录下没有winutils.exe

 log4j:WARNPlease initialize the log4j system properly.
log4j:WARN Seehttp://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" java.lang.NullPointerException
       atjava.lang.ProcessBuilder.start(Unknown Source)
       atorg.apache.hadoop.util.Shell.runCommand(Shell.java:482)
       atorg.apache.hadoop.util.Shell.run(Shell.java:455)
       atorg.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
       atorg.apache.hadoop.util.Shell.execCommand(Shell.java:808)
       atorg.apache.hadoop.util.Shell.execCommand(Shell.java:791)

各个版本的下载链接:

https://github.com/cdarlint/winutils​github.com

2828031f71384423b8c69bb29fd5920f.png

13ee50fc727d50eed139adea6242c792.png

以hadoop3.2.1为例

75b647dcd56542e9e54633f54fd7bb16.png
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值