大数据集群搭建（15）——Scala及Spark的安装（单节点和集群）

Spark的安装

1.首先安装scala

1.1.创建scala目录，上传并解压安装包。

cd /usr

mkdir scala

cd  scala

rz（选中上传准备好的scala安装包）

tar –zxvf xxxxxxxx

1.2.配置环境变量

vi /etc/profile

#Scala

export SCALA_HOME=/usr/scala/scala-2.10.5

export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

2.安装spark

2.1.创建spark目录，上传并解压安装包。

cd /usr

mkdir spark

cd  spark

rz（选中上传准备好的 storm安装包）

tar –zxvf xxxxxxxx

2.2.配置环境变量

vi /etc/profile

#Spark

export SPARK_HOME=/usr/spark/spark-2.1.1-bin-hadoop2.7

export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile

3.测试

scala

spark-shell

4.Spark集群安装

4.1.修改spark-env.sh文件

cd /usr/spark/spark-2.1.1-bin-hadoop2.7/conf/

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

export JAVA_HOME=/usr/etc/jdk1.8.0_181

export SCALA_HOME=/usr/scala/scala-2.10.5

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/usr/hadoop-2.7.7/etc/hadoop

4.2.修改slaves配置文件

[root@master conf]# vi slaves

master

slaver1

slaver2

4.3.将scala目录和spark目录分发到其他节点上

 scp -r  /usr/scala/ root@slaver1:/usr/scala/

 scp -r  /usr/scala/ root@slaver2:/usr/scala/

 scp -r  /usr/spark/ root@slaver1:/usr/spark/

 scp -r  /usr/spark/ root@slaver2:/usr/spark/

4.4.在其余节点上分别配置scala和spark环境变量并使其生效

4.5.为避免与hadoop中的start/stop-all.sh脚本发生冲突，将spark/sbin/start/stop-all.sh重命名

mv start-all.sh start-spark-all.sh

mv stop-all.sh stop-spark-all.sh

4.6.启动（spark根目录下）

sbin/start-spark-all.sh

4.7.查看

4.7.1.jps查看

 

4.7.2.浏览器查看（8080端口）