在windows环境下的eclipse或者idea中编写spark应用时,以本地模式运行测试时,常常会遇到如下的异常:
java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binarie
解决方法如下:
1、新建一个目录,例如 D:\Hadoop,然后在该目录下新建bin文件夹
2、下载https://github.com/srccodes/hadoop-common-2.2.0-bin/blob/master/bin/winutils.exe,将文件放入刚才创建的bin目录下
3、新建一个环境变量 HADOOP_HOME,值为刚才创建的第一个目录,例如 D:\Hadoop
4、重启eclipse或者IDEA
重启完成之后,以本地模式进行测试应该就 不会出现原来的错误了