IDEA集成Scala和Spark之后,运行demo可能会报错:
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
原因:我认为是因为在windows下单独使用Spark进行开发,并没有搭建Hadoop环境。
解决:下载 winutils.exe 并配置环境变量,假设我们搭建了Hadoop环境。
首先下载 winutils.exe:
https://pan.baidu.com/s/1JopjBu8Ni8fJrkxfuGNkPg
提取码:n4up
上面是网盘的连接,下载有点慢,也可以试试下面这个git地址,但是我第二次下载的时候不能下载了,有需要可以尝试一下: