基于Zookeeper搭建spark集群

一、前置条件

在搭建集群之前确保linux已安装JDK
三台机器分别为master、slave1、slave2

二、Zookeeper集群搭建

先从官网上下载zookeeper
https://zookeeper.apache.org/releases.html

使用rz命令将zookeeper上传到 /export/software目录（放在哪里自己喜欢就好）下，并拷贝到slave1,slave2
注意：要先在slave1、slave2创建有software目录

scp apache-zookeeper-3.6.0-bin.tar.gz slave1:/export/servers/software/

解压到 /export/servers

tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz -C /export/servers/

在该解压后的目录下创建两个目录，一个是data(数据目录)，一个是logs（日志目录）

配置zoo.cfg文件
进入conf目录下，复制zoo_sample.cfg文件并将其命名为zoo.cfg

cp zoo_sample.cfg zoo.cfg

使用vi zoo.cfg命令，在zoo.cfg中添加下面的内容

#data数据目录路径
dataDir=/export/servers/apache-zookeeper-3.6.0-bin/data
#日志目录路径
dataLogDir=/export/servers/apache-zookeeper-3.6.0-bin/logs
#
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

将已经编辑好的配置文件发送到slave1、slave2，并使用ls查看是否发送成功

scp co