hadoop-Failed to locate the winutils binary in the hadoop binary path

最近在windows下搭建spark遇见了很多问题。

我做的工作:

  1. 从安装spark开始就开始报错,在我spark装好之后,我在管理员窗口测试spark-shell,这个情况下问题我想大家都知道,spark是基于hadoop的,所以我们要安装hadoop。
  2. 安装hadoop我们都知道版本对应很重要,要不就白安装了,我安装spark安装的是spark-2.3.0-bin-hadoop2.6.tgz版本的,但是我安装hadoop的时候安装的确是hadoop-3.0.1.tar.gz,我其实已经猜到可能问题出在这里,但是我依然按照安装包里面的环境都安装了。
  3. 问题来了,我安装好hadoop环境变量之后,测试hadoop version显示正常,命令行给出了版本号和一些正常的输出,但是这个时候我再次输入spark-shell的时候,出现错误,这个正常,因为在hadoop的bin目录下缺少winutils.exe文件,我按照提示放了进去,然后继续spark-shell,仍然错误???我很不解。
  4. 惯例继续搜索错误,我跟据提供的下载winutils的连接,下载版本的bin目录全部替换,这个时候出现了问题,因为你替换的时候发现没有hadoop-3.0.1版本的,怎么办,找一个相邻的替换试试吧。结果仍然不行。
  5. 找到解决方法,将winutils.exe这个文件的路径放到系统变量classpath里面,没办法试试把,说不定能行,结果还是不行。这个时候我开始对我之前的困惑肯定起来,hadoop安装正常,spark安装正常,但是测试spark-shell依然不行,依然报错hadoop-Failed to locate the winutils binary in the hadoop binary path,和空指针找不到winutils 文件。
  6. 重新安装hadoop选择版本按照提示的内容spark-2.3.0-bin-hadoop2.6.tgz,spark给的不清楚吗??是的,我们就去找hadoop2.6去安装。同样的在进行hadoop2.6安装的时候还需要将这个目录下的bin替换https://github.com/steveloughran/winutils这个是涵盖很多版本的winutils的下载路径,我们不用找到winutils放进我们原来的bin里面,只需要完整替换对应版本的bin就可以了。
  7. 如果还有问题可以留言!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiaokanshijie

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值