Spark环境搭建
安装步骤分为java, hadoop, scala和 spark四步,其中java和hadoop在上一个环境配置中已经安装完毕,Win10下的Hadoop安装及简单操作,因此只需要安装 scala和 spark。以下是对我整个安装过程的记录。
首先登陆http://spark.apache.org/downloads.html下载符合本机Hadoop和JDK版本的Spark安装包,我的Hadoop版本是2.8.4因此下载了2.4.0版本的Spark。
下载完成后进行解压在D盘的根目录下,设置环境变量。
首先新建一个环境变量SPARK_HOME,变量名是安装的路径:
之后在Path中添加一个路径即可:
第二步安装Scala。进入网站https://www.scala-lang.org/download下载Scala的安装包:
安装过程中没有任何需要更改的地方,只需要摁Next即可。我在中间修改了一下安装位置,因为C盘放不下了。最后安装完毕后会自动新建环境变量。
打开cmd输入scala如果看到如下标识则安装成功。
最后打开cmd键入spark-shell出现以下标识则是安装成功: