搭建spark集群

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、搭建集群

（一）设置三台虚拟机相互免密登录

1. master虚拟机免密登录master

· 执行命令： ssh-keygen 生成秘钥对

· 执行命令：ssh-copy-id root@master 将公钥拷贝到master

· 测试master节点是否免密登录自己

2. master虚拟机免密登录slave1

· 执行命令：ssh-copy-id root@slave1 将公钥拷贝到slave1

· 测试master节点是否免密登录slave1

3. master虚拟机免密登录slave2

· 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

· 测试master节点是否免密登录slave2

（二）在三台虚拟机上安装lrzsz

1.在master虚拟机上安装lrzsz

· 执行命令：yum -y install lrzsz

2.在slave1虚拟机上安装lrzsz

· 执行命令: yum - y install lrzsz

3.在slave2虚拟机上安装lrzsz

· 执行命令: yum - y install lrzsz

（三）在三台虚拟机是上安装配置JDK

1.在master虚拟机上安装配置jdk

· 上传下载到win7上面的Java安装包到master的/opt目录


· 执行tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，将Java安装包解压到/usr/local

· 执行命令：ls /usr/local，查看解压之后的jdk
· 执行命令：vim /etc/profile，配置环境变量

· 执行命令：source /etc/profile，让配置生效

· 查看JDK版本（java -version）

2、将master虚拟机上安装的jdk以及环境配置文件分发到slave1虚拟机

· 执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME

· 在slave1虚拟机上查看Java是否拷贝成功

· 在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile，将环境配置文件分发到slave1虚拟机

· 在slave1虚拟机上，使用命令cat /etc/profile查看从master虚拟机拷贝过来的配置文件profile

· 执行命令：source /etc/profile，让配置生效
· 执行命令：java -version，查看JDK版本

3. 将master虚拟机上安装的JDK以及环境配置文件分发到slave2虚拟机

· 执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME

· 在slave2虚拟机上查看Java是否拷贝成功

· 在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile，将环境配置文件分发到slave2虚拟机

· 在slave2虚拟机上，使用命令cat /etc/profile查看从master虚拟机拷贝过来的配置文件profile

<