Spark 安装与配置 （Spark HA 集群部署）

配置 Spark HA 集群 需要配置zookeeper

        https://blog.csdn.net/weixin_64358432/article/details/130211543

一 . 下载Spark

        Apache Spark：http://spark.incubator.apache.org/

二 . 解压 Spark 安装包并改名

        1.解压

tar -zxvf spark-2.3.2-bin-hadoop2.7.tar.gz

        2.改名

 mv spark-2.3.2-bin-hadoop2.7 spark

三.修改配置文件

        1.环境变量：

        sudo vim /etc/profile

                 =自己 spark 的安装路径  
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

        2.配置文件

        1.spark-env.sh

cd spark/conf
cp spark-env.sh.template spark-env.sh

        vim spark-env.sh

#配置 java 环境   = 自己 jdk 路径
export JAVA_HOME=/opt/jdk
                
#指定 Master 的 ip
export SPARK_MASTER_HOST=hadoop1
 
#指定 Master 的端口号
export SPARK_MASTER_PORT=7077


export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=hadoop1:2181,hadoop2:2181,hadoop3:2181
-Dspark.deploy.zookeeper.dir=/spark"

        2.slaves 配置

cp slaves.template slaves

        配置 slaves

//自己的主机
hadoop2
hadoop3

四.分发

scp -r 自己要分发文件   用户名@主机名：分发到位置
scp -r spark/ xxx@Hadoop2:/opt/spark

五.启动

        启动 zookeeper

zkServer.sh start

        一键启动启动spark 

start-all.sh