spark win7 安装
直接下载 spark
在选择 package type 的时候 请选择包含hadoop的预编译包,不然在cmd执行spark-shell的时候 就会出现这样的错误: Failed to find Spark assembly JAR. You need to build Spark before running this program
使用
在win7下使用 (.sh 变为.cmd)
加载配置:
%SPARK_HOME%\conf 目录里面的spark-env.sh.template 这个文件改成 spark-env.cmd
然后在%SPARK_HOME%\bin 下面的 load-spark-env.cmd 这个命令中 会有加载spark-env.cmd 的写法
:LoadSparkEnv
if exist "%user_conf_dir%\spark-env.cmd" (
call "%user_conf_dir%\spark-env.cmd"<