zookpper的使用和详解

zookpper的使用与详解

简介

基于观察者模式

zookpper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目！以便于为分布式应用可以在zookpper纸上构建更高层次的同步服务！为用户提供同步、配置管理、分组和命名等服务！它是使用java编写的！

zookpper的特点

简单性：不同于典型的文件系统，zookpper的数据是存放在内存当中的，这样zookpper就可以实现一个高的吞吐量以及低的延迟！

健壮性：只要大部分的服务器可用，那么zookpper服务就可用！

zookpper中的数据模型以及层次命名空间

zookpper提供的命名空间与标准的文件系统非常类似，它的系统是由通过斜线分割的路径序列所组成的。如 /为根目录,/zk_1为第一个zk,/zk_1_data_1又为/zk_1下的某一数据文件目录！这样 zookpper中的每一个节点都是通过路径来识别的！zookpper组成的层次命名空间为树形状。

zookpper中的节点与临时节点

首先zookpper中的节点被称为znode，所有的znode是通过橡树一样的数据结构进行维护，并且所有的节点都是通过路径来标识以及访问的、此外，znode还维护着数据、访问控制列表、时间戳等包含交换版本信息的数据结构。

然后zookpper中存在着临时节点，临时节点与session同时存在，当session的生命周期结束时，这些临时节点也会被删除。临时节点一般用于leader的选举以及锁服务等。

zookpper的角色

zookpper中有以下几种角色：

领导者leader：负责进行投票的发起和决议，更新系统状态

学习者Learner：

包括了跟随者Follower，应用于接收客户请求并向客户端返回结果，正在选主过程中参与投票

包括了观察者Observer，Observer可以接收客户端请求，将写请求转发给leader节点，但是Observer不参与投票过程，只是同步leader的状态。Observer的目的是为了扩展系统，提高读取速度

客户端client：请求发起方。

zookpper的安装步骤（单机版、伪分布式、分布式）这里以分布式为例

1.首先将安装包进行解压操作（tar -zxvf ~~~~~~）

2.然后配置/bigdata/zookeeper-3.4.5/conf下的zoo.cfg文件

# The number of milliseconds of each tick

tickTime=2000

#zookpper服务器与客户端或服务器之间维持心跳的时间，即每tickTime时间就会发送一个心跳

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

#配置zookpper接受客户端初始化连接时最长能忍受几个心跳长度。若超过表明客户端连接失败

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

#表示leader与follower之间发消息，请求和应答时间长度

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/bigdata/zookeeper-3.4.5/mydata

# the port at which the clients will connect

clientPort=2181

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=myhadoop:2888:3888

server.2=hadoop1:2888:3888

server.3=hadoop2:2888:3888

其中需要配置的地方有图中标红的两处。

dataDir表明了zookpper保存数据的目录，默认的情况下，zookpper会将写数据的日志文件也保存在该目录下。

server.id=host:port:port表示集群中的不同服务器，id以1，2，3，4。。。。为相应的值、对应的值在dataDir指定目录下的myid文件中配置。zookpper再启动的时候读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪一个server

对应于两个端口号，分别是从机器follower连接到主机器leader的端口、以及用来进行leader选举的端口。

3.将zookpper文件复制到集群中其它节点，并配置myid的值对应为2，3，4，，，，，

到此zookpper集群就搭建完成！

最后使用该命令来启动zookpper服务。 ./zkServer.sh start

zookpper的使用与详解

简介

基于观察者模式

zookpper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目！以便于为分布式应用可以在zookpper纸上构建更高层次的同步服务！为用户提供同步、配置管理、分组和命名等服务！它是使用java编写的！

zookpper的特点

简单性：不同于典型的文件系统，zookpper的数据是存放在内存当中的，这样zookpper就可以实现一个高的吞吐量以及低的延迟！

健壮性：只要大部分的服务器可用，那么zookpper服务就可用！

zookpper中的数据模型以及层次命名空间

zookpper提供的命名空间与标准的文件系统非常类似，它的系统是由通过斜线分割的路径序列所组成的。如 /为根目录,/zk_1为第一个zk,/zk_1_data_1又为/zk_1下的某一数据文件目录！这样 zookpper中的每一个节点都是通过路径来识别的！zookpper组成的层次命名空间为树形状。

zookpper中的节点与临时节点

首先zookpper中的节点被称为znode，所有的znode是通过橡树一样的数据结构进行维护，并且所有的节点都是通过路径来标识以及访问的、此外，znode还维护着数据、访问控制列表、时间戳等包含交换版本信息的数据结构。

然后zookpper中存在着临时节点，临时节点与session同时存在，当session的生命周期结束时，这些临时节点也会被删除。临时节点一般用于leader的选举以及锁服务等。

zookpper的角色

zookpper中有以下几种角色：

领导者leader：负责进行投票的发起和决议，更新系统状态

学习者Learner：

包括了跟随者Follower，应用于接收客户请求并向客户端返回结果，正在选主过程中参与投票

包括了观察者Observer，Observer可以接收客户端请求，将写请求转发给leader节点，但是Observer不参与投票过程，只是同步leader的状态。Observer的目的是为了扩展系统，提高读取速度

客户端client：请求发起方。

zookpper的安装步骤（单机版、伪分布式、分布式）这里以分布式为例

1.首先将安装包进行解压操作（tar -zxvf ~~~~~~）

2.然后配置/bigdata/zookeeper-3.4.5/conf下的zoo.cfg文件

# The number of milliseconds of each tick

tickTime=2000

#zookpper服务器与客户端或服务器之间维持心跳的时间，即每tickTime时间就会发送一个心跳

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

#配置zookpper接受客户端初始化连接时最长能忍受几个心跳长度。若超过表明客户端连接失败

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

#表示leader与follower之间发消息，请求和应答时间长度

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/bigdata/zookeeper-3.4.5/mydata

# the port at which the clients will connect

clientPort=2181

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=myhadoop:2888:3888

server.2=hadoop1:2888:3888

server.3=hadoop2:2888:3888

其中需要配置的地方有图中标红的两处。

dataDir表明了zookpper保存数据的目录，默认的情况下，zookpper会将写数据的日志文件也保存在该目录下。

server.id=host:port:port表示集群中的不同服务器，id以1，2，3，4。。。。为相应的值、对应的值在dataDir指定目录下的myid文件中配置。zookpper再启动的时候读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪一个server

对应于两个端口号，分别是从机器follower连接到主机器leader的端口、以及用来进行leader选举的端口。

3.将zookpper文件复制到集群中其它节点，并配置myid的值对应为2，3，4，，，，，

到此zookpper集群就搭建完成！

最后使用该命令来启动zookpper服务。 ./zkServer.sh start