1.首先到官网下载spark包,我下载的是spark-1.4.1-bin-hadoop2.6
2.下载hadoop Windwos的工具,下载地址为:http://download.csdn.net/detail/wangyang_software/9030945
3.配置hadoop的环境变量,重启电脑让环境变量生效,让System.getenv("XXX")能获取到,否则会报null/../winutils.exe not exists的错误,或者类似的错误。
4.在IDE中安装插件,intellij、eclipse连接联网直接下载就可以,或者下载插件,手动安装。
5.下载scala,安装,类似JDK,然后配置环境变量。
6.在IDE中开发,编写程序,直接运行就OK了,运行模式要写成local
注意:
java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
这是由于hadoop.dll 版本问题,2.4之前的和自后的需要的不一样,修改hadoop的文件就OK了。
java.io.IOException: Could not locateexecutable null/bin/winutils.exe in the Hadoop binaries.
缺少winutils.exe ,参照上述2.