Spark——集群搭建

这里搭建的集群只使用spark自身节点运行的集群模式——独立部署（Standalone）模式。

1.上传并解压文件

（1）上传spark-3.0.0-bin-hadoop3.2.tgz文件到/opt/software目录下

（2）解压spark-3.0.0-bin-hadoop3.2.tgz到 /opt/module/目录下

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

（3）进入/opt/module/目录下

mv spark-3.0.0-bin-hadoop3.2 spark-standalone

2.修改配置文件

（1）进入解压缩后路径的 conf 目录，修改 slaves.template 文件名为 slaves

[spark@spark202 conf]$ pwd
/opt/module/spark-standalone/conf
[spark@spark202 conf]$ ll
总用量 36
-rw-r--r--. 1 spark spark 1105 6月   6 2020 fairscheduler.xml.template
-rw-r--r--. 1 spark spark 2023 6月   6 2020 log4j.properties.template
-rw-r--r--. 1 spark spark 9141 6月   6 2020 metrics.properties.template
-rw-r--r--. 1 spark spark  883 11月  8 05:57 slaves
-rw-r--r--. 1 spark spark 1292 6月   6 2020 spark-defaults.conf.template
-rwxr-xr-x. 1 spark spark 4436 11月  8 06:00 spark-env.sh
[spark@spark202 conf]$ mv slaves.template slaves

（2）修改 slaves 文件，添加 work 节点

[spark@spark202 conf]$ vim slaves 
spark202
spark203
spark204

（3）修改 spark-env.sh.template 文件名为 spark-env.sh

[spark@spark202 conf]$ mv spark-env.sh.template spark-env.sh

（4）修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点

[spark@spark202 conf]$ vim spark-env.sh 
export JAVA_HOME=/opt/module/jdk1.8.0_144
SPARK_MASTER_HOST=spark202
SPARK_MASTER_PORT=7077

注意： 7077端口，相当于 hadoop 内部通信的 8020 端口

（5）分发 spark-standalone 目录到另外两台服务器上

[spark@spark202 module]$ xsync spark-standalone/

4.启动集群

（1）执行启动脚本

[spark@spark202 spark-standalone]$ sbin/start-all.sh 

（2）查看三台服务器运行状态

（3）查看 Master 资源监控 Web UI 界面: http://ip:8080