Spark集群搭建

Spark集群搭建

• 下载spark及scala
• 解压到路径下
• 配置环境变量及相关文件
• 启动集群

本文基于已经搭建好hadoop的集群环境的前提下搭建，传送门在这里：
hadoop集群搭建

1.下载spark及scala
下载spark

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz 

scala 下载地址：https://www.scala-lang.org/download/
注意一下scala对应spark的版本

2.解压到路径下

我放到了/usr/local/spark的路径下

mkdir /usr/local/spark
cp spark-2.4.7-bin-hadoop2.7.tgz /usr/local/spark/
tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz

同样，scala也采取这样的操作

mkdir /usr/local/scala
cd /usr/local/scala
tar -zxvf scala-2.x.x.tgz

3.配置环境变量

首先配置scala的环境变量

vi /etc/profile
export PATH="$PATH:/usr/local/scala/scala-2.13.3/bin"

其次配置spark的环境变量

export SPARK_HOME=/usr/local/spark/spark-2.4.7-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

下面我们配置相关文件

cd /usr/local/spark/spark-2.4.7-bin-hadoop2.7/conf
ls

我们看到/conf 路径下有很多文件

cp spark-env.sh.template spark-env.sh
vi spark-env.sh

在末尾增加以下：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64
export HADOOP_CON_DIR=/usr/local/hadoop/hadoop-2.7.2/etc/hadoop
export SPARK_MASTER_HOST=hadoop01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_WEBUI_PORT=8089

详细配置根据自己的情况调整

修改/conf下slaves这个文件

vi slaves

追加集群各个节点的host名

复制文件到其余节点的机器上，检查环境变量

4.启动集群

因为已经搭建了hadoop集群，并且/sbin/下有start-all.sh 的文件，如果进入到spark下/sbin 我们会发现也有start-all.sh，如果只是单纯的执行，系统会错误的执行hadoop的sh文件，为了解决此问题我们有两种方式，一个更改/spark/sbin/下的start-all.sh的文件名，或者是直接添加路径启动，之后就可以看到如下界面