spark的集群安装【最简单的安装】

spark的集群安装

1 上传解压

1.1 hadoop2.7.7环境，安装spark3.1.3

[root@hadoop111 software]# tar -zxvf spark-3.1.3-bin-hadoop2.7.tgz -C /opt/module/

1.2 重命名

[root@hadoop111 module]# mv spark-3.1.3-bin-hadoop2.7/ spark-3.1.3

1.3删除cmd文件（可选）

rm -rf *.cmd

2 修改配置文件

2.1 spark-env.sh

cd /opt/module/spark-3.1.3/conf/

vim spark-env.sh

# 添加jdk
export JAVA_HOME=/opt/module/jdk1.8
# standalone模式Master启动的机器主机名
SPARK_MASTER_HOST=hadoop111
# standalone模式Master启动的服务端口
SPARK_MASTER_PORT=7077
# standalone模式Master的Web界面的端口
SPARK_MASTER_WEBUI_PORT=8080

2.2 spark-defaults.conf

cp spark-defaults.conf.template spark-defaults.conf

vim spark-defaults.conf

# Spark默认使用的MasterURI
spark.master   spark://hadoop111:7077

2.3 workers

cp workers.template workers

vim workers

# 配置需要启动worker进程的所有机器
hadoop111
hadoop112
hadoop113

2.4 修改spark的start-all.sh和stop-all.sh文件名

[root@hadoop111 sbin]# mv start-all.sh start-spark-all.sh

[root@hadoop111 sbin]# mv stop-all.sh stop-spark-all.sh

3 分发

#执行rxyncrsync远程同步工具脚本xsync（名字随意改）
/home/lizi/bin/xsync /opt/module/spark-3.1.3

3.1 脚本2

#!/bin/bash
MY_HOSTNAME=`hostname`
HOSTS=`cat /etc/hosts | grep bd | awk '{print $2}' | grep -v $MY_HOSTNAME`
for HOST in $HOSTS
do
 echo "正在将${1}发送到${HOST}的${2}..."
 scp -rq  $1  $HOST:$2
 echo "done.."
done

4 配置环境变量

echo 'export SPARK_HOME=/opt/module/spark-3.1.3' >> /etc/profile.d/my_env.sh
echo 'export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH' >> /etc/profile.d/my_env.sh
source /etc/profile

5 启动环境

start-spark-all.sh

6 Spark-shell

# 启动spark-shell
spark-shellCOPY