spark on yarn集群搭建

前言

描述：
在三个节点搭建分布式集群，主机名分别为：CAD01-ubuntu、CAD02-ubuntu、CAD03-ubuntu（其中CAD01-ubuntu为主节点、其他两个为从节点）
实验环境：
服务器节点数量：3
系统版本：Linux
Java版本：jdk-8u261-linux-x64
Hadoop版本：hadoop-2.7.6
Spark版本：spark-2.3.0-bin-hadoop2.7

一、Hadoop搭建-准备工作

1、编辑主机名文件（此步骤不是必须，需要root权限，三台机器）
vim /etc/hostname（打开该文件后，输入新改主机名、退出）
hostname 主机名（临时主机名）
bash（使上一步操作生效）
hostname（查看是否修改成功）
2、配置自动时钟同步（需要root权限，三台机器）
crontab -e
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org（编辑模式）
3、关闭防火墙（需要root权限，三台机器）
systemctl status firewalld.service（查看防火墙的状态）

如上图所示，防火墙处于关闭状态（dead），若没有关闭，则：
systemctl stop firewalld.service（临时关闭防火墙）
systemctl disable firewalld.service（禁止开机启动防火墙）
4、配置hosts列表（使用root权限，三台机器）
vim /etc/hosts