Spark集群搭建
- 下载spark及scala
- 解压到路径下
- 配置环境变量及相关文件
- 启动集群
本文基于已经搭建好hadoop的集群环境的前提下搭建,传送门在这里:
hadoop集群搭建
1.下载spark及scala
下载spark
wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz
scala 下载地址:https://www.scala-lang.org/download/
注意一下scala对应spark的版本
2.解压到路径下
我放到了/usr/local/spark的路径下
mkdir /usr/local/spark
cp spark-2.4.7-bin-hadoop2.7.tgz /usr/local/spark/
tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz
同样,scala也采取这样的操作
mkdir /usr/local/scala
cd /usr/local/scala
tar -zxvf scala-2.x.x.tgz
3.配置环境变量
首先配置scala的环境变量
vi /etc/profile
export PATH="$PATH:/usr/local/scala/scala-2.13.3/bin"
其次配置spark的环境变量
export SPARK_HOME=/usr/local/spark/spark-2.4.7-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
下面我们配置相关文件
cd /usr/local/spark/spark-2.4.7-bin-hadoop2.7/conf
ls
我们看到/conf 路径下有很多文件
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
在末尾增加以下:
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64
export HADOOP_CON_DIR=/usr/local/hadoop/hadoop-2.7.2/etc/hadoop
export SPARK_MASTER_HOST=hadoop01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_WEBUI_PORT=8089
详细配置根据自己的情况调整
修改/conf下slaves这个文件
vi slaves
追加集群各个节点的host名
复制文件到其余节点的机器上,检查环境变量
4.启动集群
因为已经搭建了hadoop集群,并且/sbin/下有start-all.sh 的文件,如果进入到spark下/sbin 我们会发现也有start-all.sh,如果只是单纯的执行,系统会错误的执行hadoop的sh文件,为了解决此问题我们有两种方式,一个更改/spark/sbin/下的start-all.sh的文件名,或者是直接添加路径启动,之后就可以看到如下界面