Spark集群安装配置

1.下载上传并解压压缩包

官网下载压缩包：

http://spark.apache.org/

注：下载压缩包时要注意与hadoop版本对应，否则会出现报错。

将压缩包上传至linux

解压压缩包

tar -zxvf ...

2.修改配置文件

     修改配置文件conf/spark-env.sh

export JAVA_HOME=/root/apps/jdk1.8.0_201
#export SPARK_MASTER_HOST=hdp-1
#export SPARK_MASTER_PORT=7077
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp-1,hdp-2,hdp-3 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_CORES=8
export SPARK_WORKER_MEMORY=6g
export SPARK_LOCAL_IP="192.168.137.131"

conf/slaves 

hdp-1
hdp-2
hdp-3
hdp-4

3.搭建集群

将hdp-1配置好的spark发送至其它虚拟机上：

scp -r /root/apps/spark-2.4.4/ hdp-2:/root/apps/
scp -r /root/apps/spark-2.4.4/ hdp-3:/root/apps/
scp -r /root/apps/spark-2.4.4/ hdp-4:/root/apps/

分别修改各台配置文件（主要修改各台ip地址）：

export SPARK_LOCAL_IP="192.168.137.131"
export SPARK_LOCAL_IP="192.168.137.132"
export SPARK_LOCAL_IP="192.168.137.133"
export SPARK_LOCAL_IP="192.168.137.134"

 

4.启动

   启动zookeeper

   启动hdfs   start-dfs.sh

   启动spark   sbin/start-all.sh

4.验证

http://hdp-1:8080

成功打开页面，spark安装成功。