搭建Spark集群

一、设置三台虚拟机免密登录

1、master虚拟机免密登录master

• 执行命令：ssh-copy-id root@master，将公钥拷贝到master
•  测试master节点是否免密登录自己
• 

2、master虚拟机免密登录slave1

• 执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1
• 测试master节点是否免密登录slave1
• 

3、master虚拟机免密登录slave2 

• 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2
• 测试master节点是否免密登录slave2
• 

二、上传大数据相关软件到虚拟机 

• 上传到master虚拟机/opt目录
• 

三、在三台虚拟机上安装配置JDK 

• 进入/opt目录

 

• 执行命令：tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，将Java安装包解压到指定目录

 

• 执行命令：ll /usr/local/jdk1.8.0_231，查看解压之后的jdk1.8.0_231目录 

 

•  执行命令：执行命令：vim /etc/profile，配置环境变量
• 
•  存盘退出，执行命令：source /etc/profile，让配置生效

 

•  查看JDK版本
• 

 2、将master虚拟机上安装的JDK分发到slave1和slave2虚拟机

• 执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME
•  
• 在slave1虚拟机上查看JDK是否拷贝成功
• 
• 执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME 

 

• 在slave2虚拟机上查看JDK是否拷贝成功

3、将master虚拟机上环境配置文件分发到slave1和slave2虚拟机

• 执行命令：scp /etc/profile root@slave1:/etc

•  执行命令：scp /etc/profile root@slave2:/etc