大数据实操篇 No.1-Zookeeper集群搭建

第1章 简介

zookeeper是一个分布式协调服务，在大数据生态场景中，有许许多多的框架都依赖于zookeeper，比如：利用好zookeeper做选举，实现主备切换达到程序的高可用。zookeeper在其他分布式系统中，也常常被用来做分布式事务、分布式锁等等。笔者主要介绍其在大数据场景中的应用。

第2章 集群规划

zookeeper110、zookeeper111、zookeeper112 三台机器组成zookeeper集群服务端

	Zookeeper110	Zookeeper111	Zookeeper112
QuorumPeerMain	√	√	√

第3章 解压安装

官网下载压缩包

http://zookeeper.apache.org/

解压到/opt/module/目录

$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

第4章 配置

4.1 创建数据存储目录

在/opt/module/apache-zookeeper-3.5.7-bin目录下创建zkData

$ mkdir -p zkData

4.2 创建服务器编号

在/opt/module/apache-zookeeper-3.5.7-bin/zkData目录下创建myid

$ touch myid

4.3 编辑myid文件

$ vi myid

在文件中添加与sever对应的编号

1

4.4 配置zoo.cfg文件

重命名/opt/module/apache-zookeeper-3.5.7-bin/conf这个目录下的zoo_sample.cfg为zoo.cfg

$ mv zoo_sample.cfg zoo.cfg

修改zoo.cfg文件

修改数据存储路径配置

dataDir=/opt/module/apache-zookeeper-3.5.7-bin/zkData

增加如下配置

######cluster######

server.1=zookeeper110:2888:3888

server.2=zookeeper111:2888:3888

server.3=zookeeper112:2888:3888

server.后面的数字是服务器编号，对应的是3.3中配置的myid，每台机器都有自己各自的myid

zookeeper110是服务器地址（笔者自己配置的hosts文件）

2888是zookeeper集群之间的数据通讯端口（Follower与Leader服务器交换信息的端口，其中包含副本等数据）

3888是zookeeper集群之间的选举Leader所用的端口

4.5 分发到其他集群并修改配置

同步/opt/module/apache-zookeeper-3.5.7-bin 到其他机器

$ xsync apache-zookeeper-3.5.7-bin/

修改各机器的myid（参考3.3）

（笔者这里修改其他机器上的myid内容为2、3）

第5章 集群群起

5.1 单点启动zookeeper

$ bin/zkServer.sh start

5.2 查看状态

$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.5.7-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader

5.3 群起脚本shell

zookeeper没有提供群起的脚本，可以根据自己的需要自行编写，方便后续使用，笔者这里提供自己的脚本供参考。

在bin目录下创建zookeeper群起脚本文件

$ touch zkServer-all.sh
$ vi zkServer-all.sh

填写以下内容

#!/bin/bash
case $1 in
"start"){
   for i in zookeeper110 zookeeper111 zookeeper112
   do
                 echo "----------start $i----------"
                 ssh $i "/opt/module/apache-zookeeper-3.5.7-bin/bin/zkServer.sh start"
   done
};;
"stop"){
   for i in zookeeper110 zookeeper111 zookeeper112
   do
                echo "----------stop $i----------"
                ssh $i "/opt/module/apache-zookeeper-3.5.7-bin/bin/zkServer.sh stop"
   done
};;
"status"){
   for i in zookeeper110 zookeeper111 zookeeper112
   do
                 echo "----------status $i----------"
                ssh $i "/opt/module/apache-zookeeper-3.5.7-bin/bin/zkServer.sh status"
   done
};;
esac

5.4 启动/停止

$ bin/zkServer-all.sh start
$ bin/zkServer-all.sh stop

启动后的zookeeper进程

7685 QuorumPeerMain