Spark+hadoop+scala 完全分布式集群搭建过程及启动过程

实验环境

1.1 服务器上启动三台虚拟机
root@master  11.24.24.111  master
root@slave1  11.24.24.112  slave1
root@slave2  11.24.24.113   slave2

1.2 软件版本：
hadoop-2.7.6 + spark-3.0.0 + Scala2.13.2

修改主机名和hosts
1.1 更改主机名
root@master:~$ sudo vim /etc/hostname
改成master //其他两个分别改为slave1 和slave2
注意：主机名全部以小写字母开头，后文在配置环境时注意不要误用大写！

1.2 修改hosts
root@master:~# sudo vim /etc/hosts
修改hosts  需要将注释的所有127.0.0.1以及locahost 取消注释！！！！不然子节点无法启动
//将原文件（127.0.0.0 localhost）下面添加以下信息：
11.24.24.111  master
11.24.24.112  slave1
11.24.24.113   slave2

//退出后重启虚拟机
root@master:~# sudo reboot

//分别对集群中的所有节点进行以上相似的设置

安装基础环境（Java和scala）

对所有节点安装java和scala

2.1 Java环境搭建
1）下载jdk-1.8并解压到 /usr/local

root@master:~$ sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/

2）添加java环境变量，在/etc/profile中添加：

root@master:~$ sudo vim /etc/profile

export JAVA_HOME=/usr/local/java
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH

3）保存后刷新配置
[root@master ~]# source /etc/profile

4）使用java -version命令确认
[root@master ~]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)


2.2 scala环境搭建
1）下载scala安装包scala2.13.2.tgz安装到 /usr/local/

root@master:~$ sudo tar -zxvf scala2.13.2.tgz -C /usr/local/
root@master:~$ mv scala2.13.2  scala
2）添加Scala环境变量，在/etc/profile中添加：

root@master:~# sudo vim /etc/profile

export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH

3)保存后刷新
root@master:~# source /etc/profile

4）使用scala -version命令确认
[root@master ~]# scala -version

Scala code runner version 2.13.2 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc.

ssh无密码验证配置

-对所有节点安装ssh
root@master:~$ sudo yum install ssh

3.1 配置master无密码登录所有slave
以下是在master节点上执行以下命令：
1）在master节点上生成密码对
ubuntu@master:~$ ssh-keygen -t rsa -P '