Spark集群部署

一.部署规划

1.

假设有3台虚拟机，主机名分别是spark-master,spark-worker1,spark-worker2，安装操作系统(云服务商已安装中标麒麟7.4)，分配IP
172.16.200.23 spark-master
172.16.200.24 spark-worker1
172.16.200.25 spark-worker2

2.

假设spark、java、scala的安装目录均为/opt，将对应文件压缩包放入文件夹，然后解压。
则：
spark家目录: /opt/spark/spark-2.4.3-bin-hadoop2.7
java家目录: /opt/jdk/jdk1.8.0_121
scala家目录: /opt/scala/scala-2.12.9
（目录不同需修改配置文件地址，java、scala解压即可，不需要安装，以下步骤配置spark）

二.配置spark集群，用户为root

1.

在3台机器上关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

2.

修改3台机器设置主机名hostname

（1）spark-master机器

hostnamectl set-hostname spark-master

（2）