spark3.x的Linux环境分布式安装配置

1.首先安装配置scala环境，安装配置方法和java一样，开始解压包

[zhang@ecs-88194-0001 package]$ tar -zxvf scala-2.13.8.tgz -C ../software/

2.配置环境变量

[zhang@ecs-88194-0001 package]$ vim /etc/profile.d/my_env.sh 

3.添加环境变量

#SCALA_HOME
export SCALA_HOME=/opt/software/scala-2.13.8
export PATH=$PATH:$SCALA_HOME/bin

4.刷新环境变量

[zhang@ecs-88194-0001 software]$ source /etc/profile.d/my_env.sh 

5.测试scala是否配置成功，如图所示代表成功

6.解压spark包

[zhang@ecs-88194-0001 package]$ tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C ../software/

7.修改配置文件名称

[zhang@ecs-88194-0001 package]$  mv  spark-env.sh.template spark-env.sh
[zhang@ecs-88194-0001 package]$  mv  workers.template workers

8.在spark-env.sh的文件末尾添加环境变量

#hadoop的位置
export HADOOP_HOME=/opt/software/hadoop-3.3.3
#hadoop的配置文件的目录
export HADOOP_CONF_DIR=/opt/software/hadoop-3.3.3/etc/hadoop
#yarn的配置文件的目录
export YARN_CONF_DIR=/opt/software/hadoop-3.3.3/etc/hadoop
#java的位置
export JAVA_HOME=/opt/software/jdk1.8.0_212
#scala的位置
export SCALA_HOME=/opt/software/scala-2.13.8
#sparkmaster的机器节点的ip
export SPARK_MASTER_IP=192.168.0.198
#sparkmaster的机器节点的ip
export SPARK_MASTER_HOST=192.168.0.198
#spark节点的内存
export SPARK_EXECUTOR_MEMORY=1G
#spark节点的cpu核数
export SPARK_WORKER_CORES=2

9.配置workers文件，在末尾添加所有节点的ip地址

10.分发文件到所有节点，确保所有节点都配置好scala环境。

[zhang@ecs-88194-0001 software]$ /home/zhang/bin/xsync spark/

11.启动前确保所有节点Hadoop集群hdfs和yarn全部启动，java环境和scala环境配置好。
在master节点启动

[zhang@ecs-88194-0002 spark]$ sbin/start-master.sh 

在workers节点启动 start-slaves.sh此命令3.x版本已经弃用

[zhang@ecs-88194-0001 spark]$ sbin/start-worker.sh

12.登录浏览器查看

workers显示为3安装启动成功