[开启大数据的大门] 第二天: Zookeeper简介与集群搭建

一、前言

Zookeeper简介
Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务

• A、zookeeper是为别的分布式程序服务的
• B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）
• C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……
• D、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能：

管理(存储，读取)用户程序提交的数据；
并为用户程序提供数据节点监听服务；

Zookeeper集群的角色：

Leader 和 follower （Observer）
只要集群中有半数以上节点存活，集群就能提供服务;

zookeeper集群机制

半数机制：集群中半数以上机器存活，集群可用。

zookeeper适合装在奇数台机器上！！！

zookeeper不适合大量集群,时间有误差集群很大的时候更新数据延迟

二、准备

Zookeeper本身是由Java语言开发的一个相对独立的基础分布式组件，因此，Zookeeper的安装除了需要安装JVM外，不再需要依赖其它环境。
2.1、机器环境准备
　　我们准备3台机器，并都装好JDK且设置好hostname。

机器IP	hostname
192.168.5.101	s101
192.168.5.102	s102
192.168.5.103	s103

（说明：在Zookeeper集群中，若超过半数以上服务节点不可用，才会造成整个服务不可用，所以其集群节点数一般都是至少3个节点以上的奇数个。当然，如果物理机器不够，也可以搭伪集群或者通过VM虚拟机实现，此处不再赘述）
2.2、下载地址
　　下载地址：http://archive.apache.org/dist/zookeeper/
　　（可选择自己需要的版本。笔者测试时，选择的是最新稳定版本3.4.12）

三、搭建

3.1、下载并解压

命令：

#下载
wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.12.tar.gz
#解压
tar -zxvf zookeeper-3.4.12.tar.gz

（在此下载的目录是/usr/local/cndmss/zk，本文后续配置也基于这个目录）
3.2、创建必要目录与文件
　　Zookeeper集群中，每一个节点都需创建data(存放数据的)目录、dataLog目录以及myid文件：
　　（说明：myid文件需创建在data目录下，其值为后续zoo.cfg中配置的第几号服务器。作者在192.168.5.101机器上的myid文件目录为 /usr/local/cndmss/zk/data/myid,其值为1；在另外2台机器上myid文件的值依次分别为2、3）
　　注意:myid文件中只需要写阿拉伯数字1 2 3 …
　　
3.3、配置zoo.cfg
　　在Zookeeper解压包下的conf目录下，有一个示例配置文件zoo_sample.cfg，我们可以复制一份，重命名为zoo.cfg，并在zoo.cfg文件中添加我们集群的相关配置信息。
　　
原始默认配置文件内容： 修改后的zoo.cfg配置文件内容： 即修改后的配置文件zoo.cfg中的有效配置内容如下：

tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/usr/local/cndmss/zk/data
dataLogDir=/usr/local/cndmss/zk/dataLog
server.1=192.168.5.101:2888:2889
server.2=192.168.5.102:2888:2889
server.3=192.168.5.103:2888:2889

（说明：server.X，这个X值即为集群机器中myid文件中的值；后面的IP即为集群机器的IP,后面的两个端口号依次为集群中节点交换信息的端口、重新选举Leader的通信端口）
　　至此，配置就算基本完成了，所有Zookeeper集群中的其他机器，除了myid文件中的值不一样外，其它配置均一样。

四、启动Zookeeper服务并简单测试

4.1、启动服务
　　Zookeeper集群的启动，需要进入各个节点单独启动。进入Zookeeper的/bin目录下执行命令 ./zkServer.sh start即可启动服务。然后执行命令./zkServer.sh status查看服务状态并可以看到当前节点是leader（主）节点还是follower（从）节点。
　　如果启动失败，可以查看/bin目录下启动生成的日志文件zookeeper.out，看失败的原因是什么，然后对症下药调整。（常见的失败原因有：防火墙未关闭、配置文件未创建、数据目录未创建、myid文件未创建或创建有误等）
　　

（笔者的leader节点是192.168.5.103）

命令：

#查看防火墙状态
firewall-cmd --state
#关闭防火墙
systemctl stop firewalld.service

（如果你遇到的启动失败不是笔者的这个防火墙问题，莫慌，查看zookeeper.out日志内容，里面有详细的错误原因）

4.2、简单测试
　　服务启动成功后，我们进行一下简单的测试。使用命令./zkCli.sh -server localhost登录任意一台机器，然后创建一个节点，再查询创建的节点信息。

（当然，还有更多的各种操作，但不是本文重点，就不再赘述了）
　　至此，Zookeeper集群搭建就算基本完成了。如果搭建伪集群或者说单机，其基本步骤也是差不多的，细微区别就是zoo.cfg配置文件中的目录配置、IP、端口号不同而已。