这里搭建的集群只使用spark自身节点运行的集群模式——独立部署(Standalone)模式。
1.上传并解压文件
(1)上传spark-3.0.0-bin-hadoop3.2.tgz文件到/opt/software目录下
(2)解压spark-3.0.0-bin-hadoop3.2.tgz到 /opt/module/目录下
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/
(3)进入/opt/module/目录下
mv spark-3.0.0-bin-hadoop3.2 spark-standalone
2.修改配置文件
(1)进入解压缩后路径的 conf 目录,修改 slaves.template 文件名为 slaves
[spark@spark202 conf]$ pwd
/opt/module/spark-standalone/conf
[spark@spark202 conf]$ ll
总用量 36
-rw-r--r--. 1 spark spark 1105 6月 6 2020 fairscheduler.xml.template
-rw-r--r--. 1 spark spark 2023 6月 6 2020 log4j.properties.template
-rw-r--r--. 1 spark spark 9141 6月 6 2020 metrics.properties.template
-rw-r--r--. 1 spark spark 883 11月 8 05:57 slaves
-rw-r--r--. 1 spark spark 1292 6月 6 2020 spark-defaults.conf.template
-rwxr-xr-x. 1 spark spark 4436 11月 8 06:00 spark-env.sh
[spark@spark202 conf]$ mv slaves.template slaves
(2)修改 slaves 文件,添加 work 节点
[spark@spark202 conf]$ vim slaves
spark202
spark203
spark204
(3)修改 spark-env.sh.template 文件名为 spark-env.sh
[spark@spark202 conf]$ mv spark-env.sh.template spark-env.sh
(4)修改 spark-env.sh 文件,添加 JAVA_HOME 环境变量和集群对应的 master 节点
[spark@spark202 conf]$ vim spark-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
SPARK_MASTER_HOST=spark202
SPARK_MASTER_PORT=7077
注意: 7077端口,相当于 hadoop 内部通信的 8020 端口
(5)分发 spark-standalone 目录到另外两台服务器上
[spark@spark202 module]$ xsync spark-standalone/
4.启动集群
(1)执行启动脚本
[spark@spark202 spark-standalone]$ sbin/start-all.sh
(2)查看三台服务器运行状态
(3)查看 Master 资源监控 Web UI 界面: http://ip:8080