spark集群安装

spark集群安装

1      集群规划

Hadoop-master1	192.168.2.100	Spark主
Hadoop-master2	192.168.2.101	Spark备
Hadoop-slave1	192.168.2.102	Zookeeper
Hadoop-slave2	192.168.2.103	Zookeeper
Hadoop-slave3	192.168.2.104	zookeeper

2      spark安装

2.1   软件准备

spark-2.0.2-bin-hadoop2.7.tgz

2.2   创建目录并上传文件

mkdir ~/spark

将spark-2.0.2-bin-hadoop2.7.tgz上传到~/spark并解压

2.3   修改配置文件

2.3.1  salves

cp slaves.template

 

vim slaves

hadoop-slave1

hadoop-slave2

hadoop-slave3

2.3.2  spark-env.sh

2.3.3  将spark目录传到其他机器

scp –r ~/spark hadoop-master1:~/

2.3.4  启动

在hadoop-master1上

cd ~/spark/spark-2.0.2-bin-hadoop2.7/sbin

./start-all

在hadoop-master2上

cd ~/spark/spark-2.0.2-bin-hadoop2.7/sbin

./start-all

安装完毕

3      集群安装后记

完成大数据的安装。有些简陋，以后内容随后增加。

                                             2017年2月14日星期二