Linux环境下spark-3.5.1(最新版本)部署

前置安装

Linux环境下Hadoop3.4.0(最新版本)集群部署-CSDN博客

一、下载软件

地址：Index of /apache/spark/spark-3.5.1

二、node11节点配置

1、解压

cd /usr/local/soft/
tar -zxvf spark-3.5.1-bin-hadoop3.tgz

2、添加环境变量

vi /etc/profile

export SPARK_HOME=/usr/local/soft/spark-3.5.1-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile

3、修改参数

修改启动变量文件

cd /usr/local/soft/spark-3.5.1-bin-hadoop3/conf/
cp spark-env.sh.template spark-env.sh
cp workers.template workers

编辑spark-env.sh文件 vi spark-env.sh

# JDK目录
export JAVA_HOME=/usr/local/soft/jdk1.8.0_381
# Scala目录
export SCALA_HOME=/usr/local/soft/scala-2.12.18
# Master IP地址
export SPARK_MASTER_IP=node11
# Worker运行内存
export SPARK_WORKER_MEMORY=1024m
# hadoop配置文件目录
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-3.4.0/etc/hadoop

集群中Worker运行内存可以适当调整3g~8g的范围

修改workers文件

vi  workers

去掉localhost,添加如下内容

node12
node13

 

三、集群拷贝

scp -r /usr/local/soft/spark-3.5.1-bin-hadoop3 root@node12:/usr/local/soft
scp -r /usr/local/soft/spark-3.5.1-bin-hadoop3 root@node13:/usr/local/soft
scp /etc/profile root@node12:/etc/profile
scp /etc/profile root@node13:/etc/profile

计算节点SPARK_WORKER_MEMORY根据实际情况可进行修改及环境变量生效

source /etc/profile

四、集群启动

node11节点启动hadoop

start-all.sh

node11节点启动spark

cd /usr/local/soft/spark-3.5.1-bin-hadoop3
sbin/start-all.sh

检验：

jps

查看master节点

查看计算节点

五、启动客户端

node11节点上启动

spark-shell

打开网页：http://node11:8080/

提示：如果8080端口被占用，程序会自动将端口号往后推算：8081

六、集群提交测试：

cd /usr/local/soft/spark-3.5.1-bin-hadoop3
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node11:7077 /usr/local/soft/spark-3.5.1-bin-hadoop3/examples/jars/spark-examples_2.12-3.5.1.jar

  网页查看： http://node11:8080/