最近在eclipse构建spark java开发环境走了很多坑,把步骤记录下来。
第一步、从spark官网上下载spark安装包,我下载的为spark-1.5.1-bin-hadoop2.6
直接解压缩即可,在环境变量path中配置为你解压缩的路径+\bin,我的path为D:\spark-1.5.1-bin-hadoop2.6\bin,在cmd中输入spark-shell
第二步、在eclipse中新建一个工程,添加依赖jar包(在解压缩spark文件夹的lib目录下,我的为D:\spark-1.5.1-bin-hadoop2.6\lib)。