spark安装-windows安装
下载spark-1.3.1-bin-hadoop2.6.tgz
下载地址:
https://download.csdn.net/download/ardo_pass/11061864
安装参考:
https://blog.csdn.net/nxw_tsp/article/details/78281533
配置环境变量,在系统变量path中追加spark的bin目录
依赖scala环境,前提是已安装scala
然后在cmd中启动spark-shell报错assertion failed:null
出现这个问题的原因是2.8版本以上的scala将不再默认使用java的classpath.要解决这个问题,很显然,就是要在配置文件中添加使用java classpath的命令,请参考
http://blog.sina.com.cn/s/blog_59c29ded0102v4an.html
解决:在spark-class2.cmd中set JAVA_OPTS=%OUR_JAVA_OPTS% -Xms%OUR_JAVA_MEM% -Xmx%OUR_JAVA_MEM%后面加一个空格再增加-Dscala.usejavacp=true
再次启动spark-shell即可
成功后在浏览器输入:
http://localhost:4040
即可看到spark页面