spark在windows上local模式下的缺失winutils.exe异常

最新推荐文章于 2024-08-09 07:01:58 发布

xubc

最新推荐文章于 2024-08-09 07:01:58 发布

阅读量5.4k

点赞数 2

分类专栏： spark 文章标签： spark windows local

本文链接：https://blog.csdn.net/u011098327/article/details/73459955

版权

本文档详细介绍了在Window10系统中，使用IntelliJ IDEA进行Spark本地模式运行调试时遇到的winutils.exe异常问题。当尝试将Spark程序的中间结果写入本地目录时，由于缺少winutils.exe导致程序执行失败。针对这一问题，文章将提供解决方案和避免此类异常的建议。

摘要由CSDN通过智能技术生成

在window10上Intellij IDEA上已Local的模式运行调试Spark程序，并且将中间结果写入本地目录时，程序抛出异常错误失败

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
17/06/19 11:24:33 INFO SparkContext: Running Spark version 2.1.0
17/06/19 11:24:34 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
	at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:379)
	at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:394)
	at org.apache.hadoop.util.Shell.<clinit>(Shell.java:387)
	at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80)
	at org.apache.hadoop.security.SecurityUtil.getAuthenticationMethod(SecurityUtil.java:611)
	at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:273)
	at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:261)
	at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:791)
	at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:761)
	at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:634)
	at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.sca