解决idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java .io.IOExceptio

已于 2022-04-20 23:54:14 修改
阅读量2.1k 收藏 2
点赞数
文章标签： intellij-idea spark scala hadoop
于 2022-04-20 23:52:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/etastgrehyjrt/article/details/124310339
版权

背景：idea运行Spark项目报错：Failed to locate the winutils binary in the hadoop binary path java.io.IO.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解决办法：安装Windows版本hadoop，再配置环境变量，在idea中添加环境变量

第一步 下载hadoop的windows版本
在这里插入图片描述

第二步 配置环境变量
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
第三步，在IDEA中配置Run Configuration，添加HADOOP_HOME变量
在这里插入图片描述
在这里插入图片描述
最后重启idea，再次执行程序，就可以正常执行了

etastgrehyjrt
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop疑难问题解决_Failed to locate the winutils binary in the hadoop binary path java.io.IOException
上好佳的博客
06-06 61
根据错误提示信息我们可以得知：在hadoop的binary包中没有定位到winutils binary，所以在加载winutils文件过程中出现IO异常。这是因为在集成spark的时候winutilf以及hdfs.dll两个包不兼容导致的，所以我们只需要更换这两个包，保证其兼容性即可；
Win10_spark本地模式报错：Failed to locate the winutils binary in the hadoop binary path java.io.IOException
Muzi_Water的博客
04-15 1616
当想在Windows上运行Spark本地模式测试代码的时候会报如下错误ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop bina...
ERROR Shell:396 - Failed to locate the winutils binary in the hadoop binary path java.io.IOE...
bboy枫亭的博客
09-21 2519
ERROR Shell:396 - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 文章目录1. 错误描述2. 解决步骤2.1 下载对应版本的 hadoop 文件并解压配置。2.2 `copy` 文件到 `Sysytem32` 下2.3 配置
[IDEA运行spark|spark sql出错]Error:(4, 8) object SparkConf is not a member of package org.apache.spark
最新发布
NBA首席形象大使坤坤
04-07 1363
**原因：**实际上问题的根本原因，是因为spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly.jar已经不存在。原来的 jar包分解为：jars/.jar 解决办法：到Saprk官网下载spark安装包，然后解压spark，将jars下的所有jar包添加到项目lib中。 spark下载地址：https://archive.apache.org/dist/spark/ 解压后将jars目录放到自己熟悉的地方，然后在IDEA中为项目添加l.
Hadoop报错 Failed to locate the winutils binary in the hadoop
hdsghtj的博客
11-11 460
Hadoop报错 Failed to locate the winutils binary in the hadoop
解决spark运行中ERROR Shell:Failed to locate the winutils binary in the hadoop binary path的问题
小健的博客
11-23 3250
17/09/03 21:27:13 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apa
WIN7下运行hadoop程序报：Failed to locate the winutils binary in the hadoop binary path
weixin_30429201的博客
10-14 107
项目中用到了Hbase,貌似用了Hadoop。 项目启动的时候，报了错，但是不影响正常使用。 但是，控制台有红色错误，看着不太爽，就想办法把这个问题解决了。 错误提示“Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executa...
Spark在windows运行报错-ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io-附件资源
03-02
Spark在windows运行报错-ERROR Shell Failed to locate the winutils binary in the hadoop binary path java.io-附件资源
Spark/Hadoop开发缺失插件-winutils.exe
04-25
本地开发Spark/Hadoop报错“ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.” ...
Hadoop2.6.0_win64_dll_winutils.exe
07-04
ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util....
winutils.exe+hadoop.dll
04-09
IDEA运行Spark程序报错Failed to locate the winutils binary in the had
mac M1芯片idea提示： No native library is found
qq_36800514的博客
03-22 4200
M1 No native library is found 使用idea一些插件功能提示， Caused by: java.lang.Exception: No native library is found for os.name=Mac and os.arch=aarch64. path=/org/sqlite/native/Mac/aarch64 缘由 这个是因为sqlite的jar包不适配arm， 网上有人不会解决就开始说， M1做开发真完蛋，如果没有适配这jar包， 真完蛋， 但好在大部分
IDEA Spark程序报错 - Failed to locate the winutils binary in the had
qq_40727267的博客
04-09 160
下载如下两个文件： 下载地址： 下载地址 不同的Hadoop版本需要下载对应版本的文件，我这里使用的Hadoop2.6.0。 然后配置环境变量（按照自己实际目录配）： 然后点击Path这个变量，添加一行 保存重启IDEA ...
解决Idea创建spark工程报错：Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown
AriesLY0411的博客
02-28 4133
不能解析plugin org。 scala工具:maven-scala-plugin:未知 解决方案： 首先：IDEA插件自动生成的pom文件中scala的版本是2.7，需要修改成与本地scala一致的版本号，我的是2.12.10 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="h.
spark项目搭建时，idea报错
qq_63506589的博客
11-08 1932
spark项目搭建时，idea报错
idea创建spark项目时，引入了SparkSession依赖，仍然报错，没有这个包
m0_65077254的博客
03-01 741
idea创建spark项目时，引入了SparkSession依赖，仍然报错，没有这个包
IDEA开发Spark提示failed to locate the winutils binary in the hadoop binary
专注于后端开发，时常接触大数据 、人工智能等
03-20 700
转自： https://blog.csdn.net/Utopia_1919/article/details/52451952 今天整理电脑删了一些没用的东西，回过头开发spark的时候发现spark提示错误： 16/09/06 17:20:43 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pat...
idea连接spark错误java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive
weixin_42804692的博客
07-26 1712
文章目录错误的原因解决办法 准备用idea搭建项目，spark远程调试，遇到了这个错 java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive 错误的原因 1、Window没有Hadoop的解压文件，更没有配置环境变量 2、缺少winutils.exe和hadoop.dll文件 解决办法 1、将Hadoop的安装包解压（可以直接拿linux的安装包版本保持一致） 2、配置环境变量 3、将hadoop.dl
IDEA导入依赖包报错（一次性解决）
热门推荐
qq_35526165的博客
11-25 1万+
场景一 idea下载依赖时异常中断导致依赖不完整，第二次启动idea时依赖无论怎么导入都报错。 解决方法 1.查看报错的依赖 2.在maven仓库找到报错的包，删除对应的版本（或整个包的文件夹都删除）。 3.在maven仓库搜索.lastUpdated，删除依赖对应的配置文件，让idea重新下载 4.重启idea（File——Invalidate and Restart） 5.如果重启后没有显示正在导入依赖，则找到pom文件，右键Reimport 注意： 如果这时idea右侧依赖还是显示报红，可
idea报错 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
07-13
这个错误通常发生在使用Hadoop相关功能时，缺少winutils.exe文件导致无法定位。winutils.exe是Hadoop的一个必需执行文件，用于在Windows环境下执行Hadoop本地操作。 要解决这个问题，你可以按照以下步骤进行操作： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值