zookeeper 原理与配置(单机与分布式)

ZooKeeper 安装 配置 使用

Zookeeper的概述：

ZooKeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。
ZooKeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，ZooKeeper就将负责通知已经在ZooKeeper上注册的那些观察者做出相应的反应。
例如：一组服务器集群、一组客户端，全部通过ZooKeeper注册，如果一台服务节点宕机，则ZooKeeper集群可以监测宕机几点服务器状态并通知客户端。

ZooKeeper的特点：

1. ZooKeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。
2. 集群中只要有半数以上的节点存活，ZooKeeper集群就能正常服务。
3. 全局数据一致性：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。
4. 更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
5. 数据更新原子性，一次数据更新要么成功，要么失败。
6. 实时性，在一定时间范围内，Client能读到最新数据。

ZooKeeper的数据结构

ZooKeeper数据模型的结构与Unix文件系统类似，整体上可以看做是一棵树，每个节点称作一个ZNode。每一个>ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。
ZooKeeper应用场景
提供的服务包括：统一命名服务，统一配置管理，统一集群管理，服务器节点动态上下线，软负载均衡等。

ZooKeeper的内部原理

选举机制
半数机制：集群中半数以上机器存活，集群可用。所以ZooKeeper适合安装奇数台服务器。
ZooKeeper虽然在配置文件中没有指定Master和Slave，但是在集群工作时，是有一个节点为Leader，其他节点为Follower的，Leader是通过内部的选举机制临时产生的。
初始化集群选举机制的解释：五台服务器的集群为例，当第一台服务器启动后，给自己投票，此时不符合半数机制（配置文件中已经配置了五台服务器）；第二台服务器启动时，投自己一票，此时仍然不符合半数机制，所以第一台服务器的票也投给第二台服务器；第三台服务器启动，投自己一票，此时还是不符合半数机制，所以第一台、第二台服务器都将票投给第三台服务器，现在符合了半数机制，所以Leader为第三台服务器。

ZooKeeper的节点类型

1. 持久（Persistent）
   持久化目录节点：
   客户端与ZooKeeper断开连接后，该节点依旧存在。
   持久化顺序编号目录节点
   客户端与ZooKeeper断开连接后，该节点依旧存在，只是ZooKeeper给该节点名称进行顺序编号。
   说明：创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护。
   注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断时间的顺序。
2. 短暂
   临时目录节点
   客户端与ZooKeeper断开连接后，该节点被删除。
   临时顺序编号目录节点
   客户端与ZooKeeper断开连接后，该节点被删除，只是ZooKeeper给该节点名称进行顺序编号。

监听器的原理

一）、监听器的原理详解

1. 首先要有一个main()线程。
2. 在main()线程中创建ZooKeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connet），一个负责监听（listener）。
3. 通过connect线程将注册的监听事件发送给ZooKeeper。
4. 在ZooKeeper的注册监听器列表中将注册的监听事件添加到列表中。
5. ZooKeeper监听到有数据或路径变化，就会将这个消息发送给listener线程。
6. listener线程内部调用process()方法（程序员自己写的方法）。
   二）、常见的监听
7. 监听节点数据的变化
   1 get path [watch]
8. 监听子节点增减的变化
   1 ls path [watch]

写数据的流程

1. Client向ZooKeeper的Server1上写数据，发送一个写请求。
2. 如果Server1不是Leader，那么Server1会把接收到的请求进一步转发给Leader，因为每个ZooKeeper的》Server里面有一个是Leader。这个Leader会将写请求广播给各个Server，各个Server写成功后就会通知Leader。
3. 当Leader收到大多数的Server数据写成功了，那么就说明数据写成功了。如果三个节点的集群，只要有两个节点数据写成功了，那么就认为数据写功了（半数机制）。写成功之后，Leader会告诉Server1数据写成功了。
4. Server1就会进一步通知Client数据写成功了，这时就认为整个写操作成功。

安装与配置zookeeper（单机版）

   1.我们以前面文章已经配置好了hadoop的基础上，配置zookeeper 
   2.然后将zookeeper的安装包使用xftp放入虚拟机中

解压安装包并重命名

$ | tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/src
$ | cd /usr/local/src
$ | mv zookeeper-3.4.5/ zookeeper

修改环境配置

$ | vim /etc/profile

$ | export ZOOKEEPER_HOME=/usr/local/src/zookeeper
$ | export PATH=$ZOOKEEPER_HOME/bin:$PATH

更新环境
$ |  source /etc/profile 

创建目录文件和日志文件

注意:自己需要自己创建文件，zookeeper不会自动给你创建文件的，不然后期启动后会报错。

$ | cd zookeeper/
$ | mkdir data
$ | mkdir logs

修改配置文件

conf 是存放了zookeeper的文件配置文件
在conf文件里面复制zoo_sample.cfg,并重命名为zoo.cfg,或者创建一个文件命名为zoo.cfg

$ | cd conf/
$ | cp zoo_sample.cfg zoo.cfg 复制到新的文件中
$ | vim zoo.cfg
# 注意:以下配置更改文件中参数
$ | tickTime = 2000
$ | dataDir = /usr/local/src/zookeeper/data
$ | dataLogDir = /usr/local/src/zookeeper/logs
$ | clientPort = 2181

dataDir和dataLogDir的路径是你创建文件夹的路径

命令：

./zkServer.sh start 启动
./zkServer.sh stop 关闭
./zkServer.sh restart 重启
./zkServer.sh status 查看状态
zkServer shell 进入客户端

启动如果端口被占用，就用 kill 端口号 重启一遍就可以了

启动成功:

ZooKeeper JMX enabled by default
Using config: /home/lilvming/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: standalone    ---》单机模式

zookeeper单机版就配置成功了。
 
 
 

安装与配置zookeeper（分布式版）

   1.单机板与分布式板的不同点在与配置文件的clientPort 为多个端口与用户名。
   2.我们以3个虚拟机为例，来配置zookeeper分布式。
   3.打开ZooKeeper官方网站https://zookeeper.apache.org/
   4.示例三台主机，主机IP映射信息如下：
   		192.168.42.154 s1
   		192.168.42.155 s2
   		192.168.42.156 s3

解压安装包并重命名

$ | tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/src
$ | cd /usr/local/src
$ | mv zookeeper-3.4.5/ zookeeper

修改环境配置

$ | vim /etc/profile

$ |export ZOOKEEPER_HOME=/usr/local/src/zookeeper
$ | export PATH=$ZOOKEEPER_HOME/bin:$PATH

更新环境
$ |  source /etc/profile 

进入/src/目录修改Zookeeper修改目录

$ |  mv zookeeper/ zookeeper

在s1上创建data目录和myid文件

$ |  mkdir /zookeeper/data
$ |  echo 1 > /zookeeper/data/myid

进入ZooKeeper的配置文件目录，并查看该目录下的文件：

$ |  cd zookeeper/conf/
$ |  ll

该目录下有示例配置文件zoo_sample.cfg，将其拷贝为zoo.cfg并修改内容：

$ |  cp zoo_sample.cfg zoo.cfg
$ |  vim zoo.cfg

# 注:在原本的内容上修改配置:
$ |  tickTime = 2000
$ |  initLimit = 5
$ |  syncLimit = 2
$ |  dataDir = /usr/local/src/zookeeper/data
$ |  dataLogDir = /usr/local/src/zookeeper/logs
$ |  clientPost = 2181
$ |  server.1 = s1:2888:3888
$ |  server.2 = s2:2888:3888
$ |  server.3 = s3:2888:3888

注：这里的s1，s2，s3 分别代表的你的虚拟机的用户名。

远程复制zookeeper到另外两台主机 s2、s3 上

$ |  scp -r zookeeper/ root@s2:/usr/local/src/
$ |  scp -r zookeeper/ root@s3:/usr/local/src/

登录主机s2 ，修改myid文件

$ |  ssh s2
$ |  echo 2 > /usr/local/src/zookeeper/data/myid

登录主机s3 ，修改myid文件

$ |  ssh s2
$ |  echo 3 > /usr/local/src/zookeeper/data/myid

配置剩下两台虚拟机环境变量

  这里有2种方法可以操作:
     1. ssh命令 进入到每台虚拟机取更改环境变量 。
     2.用远程命令传输你第一台环境变量取覆盖其他的环境变量数据。

方法一：

$ | ssh s2
$ | vim /etc/profile
#  添加内容如下：
$ |	export ZOOKEEPER_HOME=/usr/local/src/zookeeper
$ | export PATH=$ZOOKEEPER_HOME/bin:$PATH

使用source命令使配置立即生效

$ |	source /etc/profile

我一般不推荐方法一:效率慢，一个个文件去写也容易报错。

方法二：

# 进入 主机 s1 
$ |	 ssh s1 
$ |	 scp -r /etc/profile root@s2:/etc/
$ |	 scp -r /etc/profile root@s3:/etc/
$ |	 ssh root@s2 "source /etc/profile"
$ |	 ssh root@s3 "source /etc/profile"

用远程命令快捷方便

启动

在三台主机上分别执行如下命令:

$ |	zkServer.sh start

查询运行状态:

$ |	 zkServer.sh status

注:要全部启动后在查询运行状态,不然会报错 找不到从机节点！

三台主机显示信息如下：

$ | [root@s1 conf]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: follower

$ | [root@s2 conf]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: leader

$ | [root@s3 conf]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: follower

leader：s2 follower：s1 ，s3
这样zookeeper 一主两从就配置完毕了

zookeeper命令：

$ | zkServer.sh restart 重启
$ | zkServer.sh stop 关闭
$ | zkCli.sh -server s1:2181 客户端连接
# 进入客户端后命令：
$ |  h 查看所有命令
$ |  ls / 查看节点命令

※ 指定zookeeper日志文件输出目录
在zkServer.sh 文件里夹入一行配置即可指定输出目录，如下：
ZOO_LOG_DIR=/usr/local/src/zookeeper/logs*

**ZooKeeper 完全分布式集群环境搭建完成！ **