搭建spark集群

目录

一、搭建集群

（一）私有云上创建三台虚拟机

（二）利用SecureCRT登录三台虚拟机

1.登录master

2.登录slave1

 3.登录slave2

4.修改master、slave1、slave2

（三）查看三台虚拟机主机名

（四）配置三台虚拟机IP-主机名映射

1、配置master虚拟机IP-主机名映射

2、配置slave1虚拟机IP-主机名映射 

 3、配置slave2虚拟机IP-主机名映射

（五）关闭与禁用防火墙

1、关闭与禁用master虚拟机的防火墙

2、关闭与禁用slave1虚拟机的防火墙

3、关闭与禁用slave2虚拟机的防火墙

（六）关闭SeLinux安全机制

1、在master虚拟机上关闭SeLinux安全机制

2、在slave1虚拟机上关闭SeLinux安全机制

3、在slave2虚拟机上关闭SeLinux安全机制

（七）设置三台虚拟机相互免密登录

1、master虚拟机免密登录master、slave1与slave2

2、slave1虚拟机免密登录master、slave1与slave2

3、slave2虚拟机免密登录master、slave1与slave2

（八）在三台虚拟机上安装lrzsr

1、在master虚拟机上安装lrzsz

2、在slave1虚拟机上安装lrzsz

3、在slave2虚拟机上安装lrzsz 

（九）在三台虚拟机上安装配置JDK

1、在master虚拟机上安装配置JDK

2、将master虚拟机上安装的JDK以及环境配置文件分发到slave1虚拟机

3、将master虚拟机上安装的JDK以及环境配置文件分发到slave2虚拟机

二、配置完全分布式Hadoop

（一）在master虚拟机上安装配置hadoop

1、上传hadoop安装包到/opt目录

2、将hadoop安装包解压到指定位置

3、配置hadoop环境变量

4、编辑hadoop环境配置文件 - hadoop-env.sh

5、编辑核心配置文件 - core-site.xml

6、编写HDFS配置文件 - hdfs-site.xml

7、编辑MapReduce配置文件 - mapred-site.xml

8、编辑yarn配置文件 - yarn-site.xml

9、编辑slaves文件（定名分）

（二）在slave1虚拟机上安装配置hadoop

 1、将master虚拟机上的hadoop分发到slave1虚拟机

 2、将master虚拟机上环境配置文件分发到slave1虚拟机

 3、在slave1虚拟机上让环境配置生效

 （三）在slave2虚拟机上安装配置hadoop

1、将master虚拟机上的hadoop分发到slave2虚拟机

2、将master虚拟机上环境配置文件分发到slave2虚拟机

3、在slave2虚拟机上让环境配置生效

 （四）在master虚拟机上格式化名称节点

（五）启动与关闭Hadoop集群

1、在master虚拟机上启动hadoop服务

2、查看hadoop集群的WebUI界面

三、配置Spark Standalone模式的集群

（一）在master主节点上安装配置Spark

1、上传spark安装包到master虚拟机

2、将spark安装包解压到master虚拟机指定目录

3、配置spark环境变量

4、编辑spark环境配置文件 - spark-env.sh

5、创建slaves文件，添加从节点

（二）在slave1从节点上安装配置Spark

1、把master虚拟机上的spark安装目录分发给slave1虚拟机

2、将master虚拟机上环境变量配置文件分发到slave1虚拟机

3、在slave1虚拟机上让spark环境配置文件生效

 （三）在slave2从节点上安装配置Spark

1、把master虚拟机上的spark安装目录分发给slave2虚拟机

2、将master虚拟机上环境变量配置文件分发到slave2虚拟机

3、在slave2虚拟机上让spark环境配置文件生效

 四、启动并使用Spark Standalone模式的集群

（一）启动hadoop的dfs服务

（二）启动Spark集群

（三）访问Spark的WebUI

（四）启动Scala版Spark Shell

（六）关闭Spark服务

---

一、搭建集群

（一）私有云上创建三台虚拟机

    创建配置过程，参看本博《 在私有云上创建与配置虚拟机》

（二）利用SecureCRT登录三台虚拟机

        打开连接对话框

1.登录master

        在master虚拟机上安装vim编辑器

        执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件

 

添加两个域名服务器

存盘退出

执行命令：yum -y install vim

现在我们通过/etc/resolv.conf文件添加了域名解析服务器，因此可以ping通域名了

2.登录slave1

        同理在slave1虚拟机上安装vim编辑器

        执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件

 存盘退出后，执行命令：yum - install vim，安装vim编辑器

 然后修改/etc/resolv.conf文件添加了域名解析服务器，使其能够ping通域名了

 

 3.登录slave2

        同理在slave2虚拟机上安装vim编辑器

        执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件

存盘退出后，执行命令：yum - install vim，安装vim编辑器

 

  然后修改/etc/resolv.conf文件添加了域名解析服务器，使其能够ping通域名了

4.修改master、slave1、slave2

        点开对话框

修改选项

单击【OK】按钮

（三）查看三台虚拟机主机名

        查看master虚拟机主机名

        查看slave1虚拟机主机名

        查看slave2虚拟机主机名

（四）配置三台虚拟机IP-主机名映射

192.168.1.103 master
192.168.1.104 slave1
192.168.1.105 slave2

 1、配置master虚拟机IP-主机名映射

        执行命令：vim /etc/hosts

        存盘退出

2、配置slave1虚拟机IP-主机名映射 

        执行命令：vim /etc/hosts

        存盘退出

 3、配置slave2虚拟机IP-主机名映射

        执行命令：vim /etc/hosts

         存盘退出

 （五）关闭与禁用防火墙

         关闭与禁用防火墙

systemctl stop firewalld.service # 关闭防火墙
systemctl disable firewalld.service # 禁用防火墙

         查看防火墙状态

systemctl status firewalld.service

1、关闭与禁用master虚拟机的防火墙

 2、关闭与禁用slave1虚拟机的防火墙

 3、关闭与禁用slave2虚拟机的防火墙

（六）关闭SeLinux安全机制

 /etc/sysconfig/selinux文件里SELINUX=enforcing，将enforcing改成disable，就可以关闭SeLinux安全机制

1、在master虚拟机上关闭SeLinux安全机制

        执行命令：vim /etc/sysconfig/selinux

存盘退出

 2、在slave1虚拟机上关闭SeLinux安全机制

        执行命令：vim /etc/sysconfig/selinux

存盘退出

 3、在slave2虚拟机上关闭SeLinux安全机制

         执行命令：vim /etc/sysconfig/selinux

 存盘退出

（七）设置三台虚拟机相互免密登录

1、master虚拟机免密登录master、slave1与slave2

执行命令：ssh-keygen，生成密钥对

 执行命令：ssh-copy-id root@master，将公钥拷贝到master

 执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2

验证master是否可以免密登录master、slave1与slave2

 2、slave1虚拟机免密登录master、slave1与slave2

    执行命令：ssh-keygen，生成密钥对

执行命令：ssh-copy-id root@master，将公钥拷贝到master

 

执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1

 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2