本方法适用于win7、win10
在windows环境下的eclipse或者idea中编写spark应用时,有时为了验证程序功能需要以本地模式运行测试。常常会遇到如下的异常:
java.io.Exception: Could not locate executable null\bin\winutils.exe in the Hadoop binarie
经测试发现这个异常并不影响最终运行结果,但是看着不舒服,解决方法如下:
1、新建一个目录,例如C:\hadoop-2.4.1,然后在该目录下新建bin文件夹
2、下载http://download.csdn.net/detail/u014313009/7671379,将文件放入刚才创建的bin目录下
3、新建一个环境变量 HADOOP_HOME,值为刚才创建的第一个目录,例如 C:\hadoop-2.4.1
4、重启eclipse或者IDEA
再次以本地模式运行spark应用就会发现刚才的异常不见了。