大数据学习笔记(3) - Zookeeper - 简介、入门安装和分布式部署

一、简介

1、简介

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现。它提供了简单原始的功能，分布式应用可以基于它实现更高级的服务，比 如分布式同步，配置管理，集群管理，命名管理，队列管理。它被设计为易于编程，使用文 件系统目录树作为数据模型。服务端跑在 java 上，提供 java 和 C 的客户端 API 众所周知，协调服务非常容易出错，但是却很难恢复正常，例如，协调服务很容易处于 竞态以至于出现死锁。我们设计 ZooKeeper 的目的是为了减轻分布式应用程序所承担的协 调任务 ZooKeeper 是集群的管理者，监视着集群中各节点的状态，根据节点提交的反馈进行下 一步合理的操作。最终，将简单易用的接口和功能稳定，性能高效的系统提供给用户。

ZooKeeper在实现分布式锁、配置维护、组等服务时，首先它设计一种新的数据结构——Znode，然后在该数据结构的基础上定义了一些原语，也就是一些关于该数据结构的一些操作。有了这些数据结构和原语还不够，因为我们的ZooKeeper是工作在一个分布式的环境下，我们的服务是通过消息以网络的形式发送给我们的分布式应用程序，所以还需要一个通知机制——Watcher机制。那么总结一下，ZooKeeper所提供的服务主要是通过：数据结构+原语+watcher机制，三个部分来实现的。
更加详细的原理介绍
文章： Zookeeper学习之路 （一）初识

2、应用场景

统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

二、本地模式安装部署

1、安装jdk，并且配置环境变量

2、解压zookeeper的安装包

3、修改zookeeper中的zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；

4、打开打开zoo.cfg文件，修改dataDir路径

这里修改了dataDir的路径，还在下面添加了cluster的配置，就是后面集群需要的配置，主要是

server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888

这里是单机启动，所以先把集群配置注释了。

我这里的hadoop集群是hadoop101、hadoop102、hadoop103

[root@hadoop101 conf]# vim zoo.cfg 

tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/opt/local/zookeeper/zookeeper-3.4.10/zkData
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
#######################cluster##########################
# server.1=hadoop101:2888:3888
# server.2=hadoop102:2888:3888
# server.3=hadoop103:2888:3888

5、操作zookeeper

启动zookeeper

[root@hadoop101 zookeeper-3.4.10]# bin/zkServer.sh start

查看状态

[root@hadoop101 zookeeper-3.4.10]# bin/zkServer.sh status

启动zookeeper客户端

[root@hadoop101 zookeeper-3.4.10]# bin/zkCli.sh

退出客户端

quit

停止zookeeper

[root@hadoop101 zookeeper-3.4.10]# bin/zkServer.sh stop

配置参数详解
Zookeeper中的配置文件zoo.cfg中参数含义解读如下：

• 1．tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
  Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
  它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)
• 2．initLimit =10：LF初始通信时限
  集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。
• 3．syncLimit =5：LF同步通信时限
  集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer。
• 4．dataDir：数据文件目录+数据持久化路径
  主要用于保存Zookeeper中的数据。
• 5．clientPort =2181：客户端连接端口
  监听客户端连接的端口。

三、zookeeper的分布式部署

1、集群规划

hadoop101 192.168.17.129 zookeeper
hadoop102 192.168.17.130 zookeeper
hadoop103 192.168.17.131 zookeeper

2、同步集群的解压文件到hadoop102和hadoop103

[root@hadoop101 zookeeper]#  xsync zookeeper-3.4.10/

3、在zkData目录下面创建myid文件

[root@hadoop101 zkData]#  touch myid
[root@hadoop101 zkData]#  vim myid

在里面输入集群的编号

1

拷贝文件到其他机器上面，但是记得一定要将对应的机器集群编号修改了，我这里改的是
hadoop101 1
hadoop102 2
hadoop103 3

[root@hadoop101 zkData]#  xync  myid

4、修改zoo.cfg配置文件

将刚才注释的cluster中三条配置解开

#######################cluster##########################
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888

5、集群启动

[root@hadoop101 zookeeper-3.4.10]# bin/zkServer.sh start

分别执行三台机器的zookeeper，让三台机器都启动，这时候就会发现会有一台是leader其他的两台是follower

6、启动客户端

[root@hadoop101 zookeeper-3.4.10]# bin/zkCli.sh

可以进行一些操作，创建节点，查看数据，创建子节点。等等

四、说明

1、节点类型

2、监听器原理

3、选举机制

1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。
3）以一个简单的例子来说明整个选举的过程。
假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么，如图5-8所示。

（1）服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为LOOKING；
（2）服务器2启动，再发起一次选举。服务器1和2分别投自己一票并交换选票信息：此时服务器1发现服务器2的ID比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器1票数0票，服务器2票数2票，没有半数以上结果，选举无法完成，服务器1，2状态保持LOOKING
（3）服务器3启动，发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果：服务器1为0票，服务器2为0票，服务器3为3票。此时服务器3的票数已经超过半数，服务器3当选Leader。服务器1，2更改状态为FOLLOWING，服务器3更改状态为LEADING；
（4）服务器4启动，发起一次选举。此时服务器1，2，3已经不是LOOKING状态，不会更改选票信息。交换选票信息结果：服务器3为3票，服务器4为1票。此时服务器4服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
（5）服务器5启动，同4一样当小弟。

---

如果文章有什么错误的地方，欢迎留言，感谢大家！！！

----------end----------