Spark集群搭建

一、Spark集群拓扑

（一）集群拓扑

（二）集群角色分配

• Spark Standalone模式的集群搭建需要在集群的每个节点都安装Spark，集群角色分配如下表所示。

节点	-角色
master	Master
slave1	Worker
slave2	Worker

二、搭建集群

（一）利用SecureCRT登录三台虚拟机

• 打开连接对话框
  

1、登录master虚拟机

配置三台虚拟机IP-主机名映射

192.168.1.19 master
192.168.1.104 slave1
192.168.1.105 slave2

 配置master虚拟机IP-主机名映射，执行命令：vim /etc/hosts

 slave1与slave2同理操作

 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件

 添加两个域名服务器

 执行命令：yum -y install vim

测试master能否访问外网

 执行命令：vim /etc/hosts

 存盘退出

slave1与slave2同理操作

 

 slave1与slave2同理操作

关闭与禁用防火墙

• 关闭与禁用防火墙

systemctl stop firewalld.service # 关闭防火墙
systemctl disable firewalld.service # 禁用防火墙

• 查看防火墙状态

systemctl status firewalld.service

 slave1与slave2同理操作

关闭SeLinux安全机制

• /etc/sysconfig/selinux文件里SELINUX=enforcing，将enforcing改成disable，就可以关闭SeLinux安全机制
• 执行命令：vim /etc/sysconfig/selinux
• 

存盘退出 

slave1与slave2同理操作

设置三台虚拟机相互免密登录

 1、master虚拟机免密登录master、slave1与slave2

执行命令：ssh-keygen，生成密钥对

 执行命令：ssh-copy-id root@master，将公钥拷贝到master

 执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

 

 由于我前面设置过了，所以没有弹出后续对话框，可参考如下图

 验证master是否可以免密登录master、slave1与slave2

在master虚拟机上安装lrzsz

• 执行命令：yum -y install lrzsz