Spark集群搭建

环境装备

192.168.16.6 master
192.168.16.4 slave1
192.168.16.5 slave2

spark安装

在Master机器，上传spark安装包spark-2.4.3-bin-hadoop2.7.tgz，并将其解压到/home/spark 目录下（根据实际情况定）。

#上传
[root@master software]# rz -y
#解压
[root@master software]# tar -xzvf spark-2.4.3-bin-hadoop2.7.tgz -C /home/spark/

修改配置文件

[root@master conf]#cp /home/spark/spark-2.4.3-bin-hadoop2.7/conf/spark-env.sh.template spark-env.sh
[root@master conf]#cp /home/spark/spark-2.4.3-bin-hadoop2.7/conf/slaves.template slaves

在spark-env.sh文件中添加如下变量

export JAVA_HOME=/java/jdk1.8.0_161
export SCALA_HOME=/home/scala/scala-2.13.1
export SPARK_MASTER_IP=192.168.16.6
export SPARK_WORKER_MEMORY=1g

在slave添加如下配置 

master
slave1
slave2

将master配置好的spark复制到slave1和slave2上

[root@master conf]# scp -r /home/spark/ root@slave1:/home/
[root@master conf]# scp -r /home/spark/ root@slave2:/home/

启动spark

[root@master spark-2.4.3-bin-hadoop2.7]# cd /home/spark/spark-2.4.3-bin-hadoop2.7/sbin/

[root@master sbin]# ./start-all.sh 

验证spark集群

http://IP:8080/