spark-2.1.0集群搭建

集群：
192.168.109.110 master
192.168.109.111 slave01
192.168.109.112 slave02

1 .修改主机名及域名解析

ps：每台机子都做如下操作

[root@master etc]# vi /etc/sysconfig/network

[root@master ~]# vim /etc/hosts

2.配置spark-2.1.0

2.1 下载地址
http://spark.apache.org/downloads.html

2.2 解压缩

[root@master opt]# tar  -zxvf spark-2.1.0-bin-hadoop2.7.tgz

2.3 修改slaves文件
复制，修改

[root@master conf]# cp slaves.template slaves
[root@master conf]# vi slaves

2.4 配置master节点信息

[root@master conf]# cp spark-defaults.conf.template spark-defaults.conf
[root@master conf]# vi spark-defaults.con

2.5 spark-env.sh配置

[root@master conf]# cp spark-env.sh.template  spark-env.sh
[root@master conf]# vi spark-env.sh

2.6 把master的spark复制到slave01和slave02

[root@master conf]# scp -r spark-2.1.0-bin-hadoop2.7 slave01:/opt
[root@master conf]# scp -r spark-2.1.0-bin-hadoop2.7 slave02:/opt

3 启动Spark

[root@master sbin]# ./start-all.sh 

一下各节点启动信息
master:

slave01:

slave02:

最后在8080端口查看：

进入Spark安装目录启动shell：

搭建到此结束，往后继续努力！