Zookeeper入门笔记

Zookeeper入门笔记

Zookeeper概念简介

zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务。

A.zookeeper是为别的分布式程序服务的

B.zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）

C.Zookeeper所提供的服务涵盖：主从协调，服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务。。

D.虽说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能：

​ 管理（存储，读取）用户程序提交的数据

​ 为用户程序提供节点监听服务

Zookeeper集群机制

半数机制：集群中半数以上的机器存活，集群可用。

zookeeper适合安装在技术台机器上。

Zookeeper的安装

1.工具准备：

3台虚拟机 jdk zookeeper压缩包 放在/usr/local/下

2.jdk安装

在3台机器上安装好jdk，配置好相关环境变量

3.解压

tar -zxvf zookeeper-3.4.5.tar.gz（解压）

4.重命名

mv zookeeper-3.4.5 zookeeper

5.修改环境变量

vi /etc/profile(修改文件)

添加内容

export ZOOKEEPER_HOME=/usr/local/zookeeper

export PATH=$PATH:ZOOKEEPER_HOME/bin

重新编译文件

source /etc/profile

注意三台机器都需要修改

6.修改配置文件

cd /usr/local/zookeeper/conf

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

添加内容

dataDir = /usr/local/zookeeper/data

dataLogDir=/usr/local/zookeeper/log

server.1=slave1:2888:3888(主机名，心跳端口，数据端口)

server.2=slave2:2888:3888

server.3=salve3:2888:3888

创建文件夹

cd /usr/local/zookeeper/

mkdir -m 755 data

mkdir -m 755 log

在data文件夹下新建myid文件，myid文件的内容为:

cd data

vi myid

添加内容

1

7.将集群下发到其他机器

scp -r /usr/local/zookeeper root@slave2:/usr/local/hadoop/

scp -r /usr/local/zookeeper root@slave3:/usr/local/hadoop/

这里需要事先配置好ssh免密登录

8 修改其他机器的配置文件

到slave2上：修改myid为：2

到slave3上：修改myid为：3

9.启动

zkServer.sh start

10.查看集群状态

1、 jps（查看进程）

2、 zkServer.sh status（查看集群状态，主从信息）

zookeeper结构和基本命令

zookeeper特性

1.zookeeper：一个leader，多个follower组成的集群

2.全局数据一致：每个server保存一份相同的数据副本，client无论连接到那个server，数据都是一致的

3.分布式编写，更新请求转发，由leader实施

4.更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行

5.数据更新原子性，一次数据更新要么成功，要么失败。

6.实时性，在一定范围内，client能读到最新数据。

zookeeper数据结构

1.层次化的目录结构，命名符合常规文件系统规范

2.每个节点在zookeeper中叫做znode，并且其有一个唯一的路径标示

3.节点znode可以包含数据和子节点（但是EPHEMERAL类型的节点不能有子节点）

4.客户端应用可以在节点上设置监视器。

数据结构图

节点类型

znode有两种类型：

​ 短暂（emphemeral）：（断开连接自己删除）

​ 持久（persistent）：（断开时连接不删除）

Znode有四种形式的目录节点（默认是persistent）

persistent

persistent_sequential(持久序列)

ephemeral

ephemeral_sequential

创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护。

在分布式系统中，顺序号可以被用于所有的时间进行全局排序，这样客户端可以通过顺序号推断事件的顺序。

zookeeper命令行操作

运行zkcli.sh -server 进入命令行工具

1、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容：

[zk: 202.115.36.251:2181(CONNECTED) 1] ls /

2、创建一个新的 znode ，使用 create /zk myData 。这个命令创建了一个新的 znode 节点“ zk ”以及与它关联的字符串：

[zk: 202.115.36.251:2181(CONNECTED) 2] create /zk “myData“

3、我们运行 get 命令来确认 znode 是否包含我们所创建的字符串：

[zk: 202.115.36.251:2181(CONNECTED) 3] get /zk

#监听这个节点的变化,当另外一个客户端改变/zk时,它会打出下面的

#WATCHER::

#WatchedEvent state:SyncConnectedtype:NodeDataChanged path:/zk

[zk: localhost:2181(CONNECTED) 4] get /zkwatch

4、下面我们通过 set 命令来对 zk 所关联的字符串进行设置：

[zk: 202.115.36.251:2181(CONNECTED) 4] set /zk “zsl“

5、下面我们将刚才创建的 znode 删除：

[zk: 202.115.36.251:2181(CONNECTED) 5] delete /zk

6、删除节点：rmr

[zk: 202.115.36.251:2181(CONNECTED) 5] rmr /zk

zookeeper原理

zookeeper虽然没有在配置文件中指定master和salve，但是zookeeper工作时，是有一个节点为leader，其他则为 follower。leader是通过内部选举产生的。

zookeeper的选举机制（全新集群paxos）

以一个简单的例子来说明选举的过程：

​ 假设有5台服务器组成的zookeeper集群，他们的id从1-5，同时他们都是最新启动的，也就是没有什么历史数据，在存放数据量这一点上，都是一样的，假设这些服务器依序启动，来看看会发生什么：

1.服务器1启动，此时只有他一台服务器启动了，他发出去的包没有任何响应，所以他的选举状态一直是looking状态。

2.服务器2启动，他与最开始启动的服务器1通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意他，所以服务器1,2还是继续保持Locking.

3.服务器3启动，根据前面的理论分析，服务器3称为服务器1,2,3中的老大，而与上面不同的是，此时有3台服务器选举他，所以他成为了这次选举的leader。

4.服务器4启动，根据前面的分析，理论上服务器3应该是服务器1,2,3,4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以他只能接受当小弟的命了。

5.服务器5和服务器4一样的。

非全新集群的选举机制

那么，初始化的时候，是按照上述的说明进行选举的，但是当zookeeper运行了一段时间之后，有机器down掉，重新选举时，选举过程就相对复杂了。

需要加入数据id，leader id和逻辑时钟。

数据id：数据新的id就大，数据每次更新都会更新id。

leader id：就是我们配置的myid中的值，每个机器一个。

逻辑时钟：这个值从0开始递增，每次选举对应一个值，也就是说：如果在同一次选举中，那么这个词应该是一致的；逻辑时钟越大，说明这一次选举leader进程更新。

选举的标准就变成：

​ 1.逻辑时钟小的选举结果被忽略，重新投票。

​ 2.统一逻辑时钟后，数据id大的输出。

​ 3.数据id相同的情况下，leader id大胜出。

根据这个规则选出leader。