在Windows环境下使用IDEA、eclipse运行hadoop、spark程序时产生如下异常:
1、java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.
2、java.io.IOException: Failed to locate the winutils binary in the hadoop binary path
发现是因为在Windows环境中缺少winutils.exe程序。
因为一般情况下Hadoop、spark都是运行在Linux系统下的,在windows下运行时需要安装Windows下运行的支持插件:hadoop2.7-common-bin
相关插件下载地址:https://download.csdn.net/download/lb812913059/10715219
备注:个人使用hadoop为2.7.6版本,spark为2.3.0版本,一般来说是兼容的
插件配置步骤(压缩包中包含环境变量配置图片):
- 解压
- 配置环境变量
本地解压目录为(供参考对照):D:\java\hadoop-common-2.7\bin