5.Spark大型电商项目-大数据环境搭建之zookeeper集群

目录

实验环境

安装zookeeper

修改配置文件

         设置zookeeper节点标识

搭建zookeeper集群

启动zookeeper集群

---

本文将主要介绍在之前集群环境的基础上安装zookeeper的详细过程。

实验环境

zookeeper版本：zookeeper-3.4.10

可以到官网下载自己需要的版本：https://zookeeper.apache.org/

安装zookeeper

将zookeeper安装到目录/usr/local/下

解压安装包

sudo tar zookeeper-3.4.10.tar.gz -C /usr/local/

重命名

cd /usr/local/

mv zookeeper-3.4.10 zk

修改文件的权限

sudo chown -R hadoop:hadoop ./zk

配置环境变量

sudo vim ~/.bashrc

export ZOOKEEPER_HOME=/usr/local/zk

export PATH=$PATH:$ZOOKEEPER_HOME/bin

环境变量配置生效

source ~/.bashrc

修改配置文件

配置zoo.cfg

cd ./zk/conf

cp zoo_sample.cfg zoo.cfg

sudo gredit zoo.cfg

修改：dataDir=/usr/local/zk/data

在文件末尾添加：

server.0=Master:2888:3888    
server.1=Worker1:2888:3888
server.2=Worker2:2888:3888

此处为集群内的三台服务器ip地址，根据自己实际情况填写。

设置zookeeper节点标识

cd  /usr/local/zk

mkdir data

cd data

sudo vim myid

在myid文件中输入：

0

设置Master节点的标识为0，之后设置Worker1和Worker2节点标识分别为1和2 。

搭建zookeeper集群

使用远程拷贝命令scp将zk和.bashrc文件夹/文件拷贝到Worker1和Worker2机器上

scp -r zk root@Worker1:/usr/local
scp -r zk root@Worker2:/usr/local

scp ~/.bashrc root@Worker1:~/
scp ~/.bashrc root@Worker2:~/
 

在Worker1和Worker2两台机器上分别执行一下命令是配置文件生效

source ~/.bashrc

启动zookeeper集群

在三台机器上分别执行一下命令

zkServer.sh start

检查zookeeper状态

zkServer.sh status

使用jps检查三个节点是否都有QuorumPeerMain进程。