Spark与Scala的安装配置过程

 

一、spark安装前需要安装JDK和hadoop，详细教程可以参考https://blog.csdn.net/u013457387/article/details/87856770

安装完成后出来这样的页面即可

这里我是Scala和spark一起安装的比较方便，一些路径或版本不同的可以更改

二、下载scala和spark

2.1  下载scale

由于老师要求安装的是2.12.8版本，所以我给的是网址是https://www.scala-lang.org/download/2.12.8.html（需要其他版本更改网址中版本号即可）进入网址后下拉至下图界面点击.tgz文件即可下载

2.2下载spark

打开网址http://spark.apache.org/downloads.html

三、安装scala和spark

在/home/Java/目录下新建一个Scala文件夹（根据自己喜好新建）导入下载的scala压缩包

然后进入到Scala文件下输入

tar -zxvf scala-2.12.8

解压文件

然后在/home/Java/Spark目录下新建一个Spark文件夹（根据自己喜好新建）导入下载的spark压缩包

然后进入到spark文件下输入

tar -zxvf spark-2.4.5-bin-hadoop2.7

解压spark文件

然后更改/etc/profile文件

在后面加上

#scala
export SCALA_HOME=/home/Java/Scala/scala-2.12.8
export PATH=${SCALA_HOME}/bin:$PATH

#spark
export SPARK_HOME=/home/Java/Spark/spark-2.4.5-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH

保存后输入

source /etc/profile

刷新下即可

输入

scala -version

查看scala是否安装完成

如图就是scala安装完成

四、配置spark

进入到spark配置目录conf文件下，以spark为我们创建好的模板创建一个spark-env.h文件，命令是

cp spark-env.sh.template spark-env.sh

然后更改spark-env.sh文件输入

export SCALA_HOME=/home/Java/Scala/scala-2.12.8
export JAVA_HOME=/home/Java/jdk1.8.0_191
export HADOOP_HOME=/home/Java/hadoop-2.7.6
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/home/Java/Spark/spark-2.4.5-bin-hadoop2.7
export SPARK_MASTER_IP=server1
export SPARK_EXECUTOR_MEMORY=1G

（目录根据自己的来，SPARK_MASTER_IP=自己的master名）

保存退出后，

以spark为我们创建好的模板创建一个slaves文件，命令是

cp slaves.template slaves

更改slaves文件输入

server1
server2
server3

（根据自己虚拟机名更改即可）

五、启动和测试

强调每个虚拟机都是以上的配置后才可启动

5.1启动

进入到spark的sbin目录下输入

 

 ./start-all.sh 

如上图所示即可

5.2测试

打开浏览器输入你的master的ip地址加:8080出来这样的页面说明安装完成