zookeeper

 

 

 zookeeper的介绍

简介

1，中间件，提供协调服务

2，作用于分布式系统，发挥其优势，可以为大数据服务

3，支持java，提供java和c语言的客户端api

分布式系统

1，很多台计算机组成一个整体，一个整体一直对外挺且处理同一请求

2，内部的每台计算机都可以互相通信（REST/RPC）

3，客户端到服务端的一次请求到响应结束会经历多台计算机

特性

一致性：数据一致性，数据按照顺序分批入库

原子性：事务要么成功要么失败，不会局部化

单一视图：客户端连接集群中的任一zk节点，数据都是一致的

可靠性：每次对zk的操作状态都会保存在服务端

实时性：客户端可以读取到zk服务端的最新数据

zookeeper安装（在Linux上）

1，首先安装jdk（jdk安装见前面写的博客）

2，解压缩zookeeper

[root@Ting installpackage]# tar -zxvf zookeeper-3.4.13.tar.gz

[root@Ting installpackage]# mv zookeeper-3.4.13 ../worktool/
[root@Ting installpackage]# cd

[root@Ting /]# cd usr/java/worktool/

重命名
[root@Ting worktool]# rename zookeeper-3.4.13 zookeeper zookeeper-3.4.13/

配置环境变量

[root@Ting worktool]# vi /etc/profile

export ZOOKEEPER_HOME=/usr/java/worktool/zookeeper

export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

 

 图片中包含了jdk、mysql、 zookeeper的配置

[root@Ting worktool]# cd zookeeper/conf/

1.复制zoo_sample.cfg
[root@Ting conf]# cp zoo_sample.cfg zoo.cfg

2，配置文件参数介绍

tickTime：用于计算的时间单元。比如session超时：N*tickTime

initLimit：用于集群，允许从节点连接并同步到主节点的初始化连接时间，以                           tickTime的倍数表示

syncLimit：用于集群，master主节点与从节点之间发送消息，请求和应答时间长度（心跳机制），以tickTime的倍数表示

dataDir：存放数据目录

dataLogDir：日志目录，如果不配置，将于dataDir共用一个目录

比如：dataDir=/usr/java/worktool/zookeeper/dataDir

dataLogDir=/usr/java/worktool/zookeeper/dataLogDir

clientPort：连接服务器的端口，默认为2181

[root@Ting conf]# vi zoo.cfg

在zoo.cfg中添加

dataDir=/usr/java/worktool/zookeeper/dataDir
dataLogDir=/usr/java/worktool/zookeeper/dataLogDir

zookeeper的主要目录结构

bin：运行命令

conf：配置文件，运行之前需要修改zoo_sample.cfg

contrib：附加的功能

dist-maven：mvn编译后的目录

docs：文档目录

lib：jar包目录

recipes：案例demo目录

src：源码
 

数据模型基本操作

1，客户端连接

[root@Ting conf]# cd ..

[root@Ting zookeeper]# cd bin/

[root@Ting bin]# ./zkServer.sh start

[root@Ting bin]# ./zkCli.sh -server 192.168.56.130:2181

2，查看znode结构

[zk: 192.168.56.130:2181(CONNECTED) 0]
[zk: 192.168.56.130:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: 192.168.56.130:2181(CONNECTED) 1] ls /zookeeper
[quota]
[zk: 192.168.56.130:2181(CONNECTED) 2] ls /zookeeper/quota
[]

3，关闭客户端连接

Ctrl+C Quit

4.停止服务

./zkServer.sh stop

5.重启服务

./zkServer.sh restart

6.查看状态

./zkServer.sh status

zookeeper作用体现

1，master节点选举，主节点挂了之后，从节点就会接手工作。并且保证这个节点是唯一的，即首脑模式。从而保证集群的高可用

2，统一配置文件管理。即只需要部署一台服务器，则可以把相同的配置文件同步更新到其他所有服务器。（云计算）

3，发布与订阅。类似于消息队列RabitMQ 、ActiveMq。dubbo发布者把数据存到znode上，订阅者会读取该数据

4，提供分布式锁， 分布式环境中不同进程之间争夺资源，类似于多线程中的锁

5，集群管理，保证数据的强一致性。

zookeeper常用命令操作

1，通过./zkCli.sh打开zk客户端进入命令行后台

2，ls与ls2命令 ls2为ls与stat命令的组合

cZxid = 0x0 创建ID

ctime = Wed Dec 31 16:00:00 PST 1969 创建时间

pZxid = 0x0 子节点ID

dataVersion = 0 当前数据版本号

aclVersion = 0 acl权限版本

ephemeralOwner = 0x0 持久节点与临时节点的区分标示 此处为持久节点

 

3，get与stat命令

4，create命令

 

create -e 创建临时节点

create -s 创建顺序节点

 

5，set指令

 

dataVersion = 1 版本号发送了变化

根据版本号来修改数据-即乐观锁

6，delete指令

删除也有版本号的限制

watcher机制

针对每个节点的操作，zk都会有一个监督者->watcher

当监控的某个对象（znode）发送了变化，则会处罚watcher事件

zk中的watcher是一次性的，触发后立即销毁

父节点、子节点 增删改都能够触发其watcher

针对不同类型的操作，触发的watcher事件也不同

1，（子）节点创建事件

2，（子）节点删除事件

3，（子）节点数据变化事件

watcher命令行操作

1，通过get/stat path 【watch】设置watcher

2，父节点增删改操作都会触发watcher

3，子节点增删改操作触发watcher

watcher事件类型之父节点

创建父节点触发：NodeCreated                   通过help指令查看设置watch事件的命令

 

修改父节点数据触发：NodeDataChanged

 

删除父节点：NodeDeleted

 

watcher事件类型之子节点

ls为父节点设置watch，创建子节点触发：NodeChildrenChanged

 

ls为父节点设置watcher，删除子节点触发：NodeChildrenChanged

 

ls为父节点设置watch，修改子节点不触发事件；通过get/stat设置事件

 

watch使用场景

统一资源配置

zk特性-session的基本原理

1，客户端与服务端之间的连接会话

2，每个会话都可以设置一个超时时间

3，心跳结束，session则过期

4，session过期，则临时节点znode会被抛弃

5，心跳机制：客户端向服务端的ping包请求。可通过创建临时节点来查看（退出客户端临时节点还会继续发送心跳包，此时还可以查看。时效段过了后，则查看不了该节点）

ALC（access control lists）权限控制列表

1，针对节点可以设置相关读写等权限

2，权限可以指定不同的权限范围以及角色

ACL命令行

1，getAcl：获取某个节点的acl权限信息

2，setAcl：设置某个节点的acl权限信息

3，addauth：输入认证授权信息，注册时输入明文密码（登录），但是在zk系统里，密码是以加密的形式存在的

ACL的构成

1，zk的acl通过[scheme:id:permissions]来构成权限列表

scheme：代表采用的某种权限机制

1），world：world下只有一个id，即只有一个用户，也就是anyone，那么组合的写法就是world：anyone：[permissions]

2）,auth：代表认证登录，需要注册用户有权限就可以，形式为auth：user：password：[permissions]

3），digest：需要密码加密才能访问，组合形式为digest：username：BASE64(SHA1(password))：[permissions]

auth与digest的区别就是，前者明文，后者密文

setAcl /path auth:lee:lee:cdrwa与

setAcl /path digest:leeBASE64(SHA1(password))cdrwa是等价的，在通过addauth digest lee:lee后都能操作指定节点的权限

4），ip:当设置ip指定的ip地址，此时限制ip进行访问，比如ip:192.168.1.1:[permissions]

5）super：代表超级管理员，拥有所有的权限

id：代表允许访问的用户

permissions：权限组合字符串

     --权限字符串缩写 crdwa

1，create：创建子节点

2，read：获取节点/子节点

3，delete：删除子节点

4，write：设置节点数据

5，admin：设置权限

ACL命令行学习

1，world:anyone:cdrwa

 

此时删除节点报错

 

重新赋值权限再删除

 

2，acl auth的使用

[zk: localhost:2181(CONNECTED) 0] addauth digest aa:aa 添加用户密码到zk库

'digest,'aa:yr3WY3jl0t9TOJWOvenTBfrUTe8= 密码以密文形式存储

3，acl digest的使用

todo

4，acl ip的使用

 

5，acl super超级管理员

1）修改zkServer.sh增加super管理员

2）重启zkServer.sh

zk四字命令

1，与服务器进行交互

zk集群 主从节点，心跳机制（选举模式）

搭建集群注意点

1，配置数据文件 myid 1/2/3 对于 server.1/2/3

2，通过./zkCli.sh -server [ip]:[port]检测集群是否配置成功

伪分步是集群搭建

克隆虚拟机的话，修改vi /etc/sysconfig/network-scripts/ifcfg-eth0 ，将HWADDR="00:0C:29:8C:32:25"

修该为虚拟机对于的MAC地址（虚拟机设置 网络适配器 高级 MAC），然后重启网卡service network restart

1，copy zookeeper

   cp zookeeper/ zookeeper02 -rf

cp zookeeper/ zookeeper03 -rf

2，修改zoo.cfg       ip:同步端口号：选举端口

server.1=192.168.25.128:2888:3888  

server.2=192.168.25.128:2889:3889

server.3=192.168.25.128:2890:3890

3，在zookeeper中的dataDir目录中创建myid 内容为1

4，在zookeeper02中修改zoo.cfg 将clientPort修改为2182，添加server配置见步骤2

并修改日志目录 数据目录

5，进入zookeeper02的dataDir目录 创建myid 内容为2

6，在zookeeper03中修改zoo.cfg 将clientPort修改为2183，添加server配置见步骤2，并 修改日志目录 数据目录

7，进入zookeeper03的dataDir目录 创建myid 内容为3

8，分别进入zookeeper zookeeper02 zookeeper03 bin目录下启动./zkServer.sh start

启动日志如果报错，查看 bin/zookeeper.out

测试伪分步的集群

连接一台服务        ./zkCli.sh -server localhost:2181

[zk: localhost:2181(CONNECTED) 0] ls /

[zookeeper, java12, ipdemo]

创建节点

[zk: localhost:2181(CONNECTED) 1] create /culster 111111

Created /culster

[zk: localhost:2181(CONNECTED) 2] ls /

[zookeeper, java12, ipdemo, culster]

退出并连接另外一台服务器

[zk: localhost:2181(CONNECTED) 3] [root@localhost bin]# ./zkCli.sh -server localhost:2182

查看是否存在culster节点

[zk: localhost:2182(CONNECTED) 0] ls /

[zookeeper, java12, ipdemo, culster]

[zk: localhost:2182(CONNECTED) 1]

测试选举

关闭集群中主节点的机子或伪分步的主节点服务

伪分步下：

 

zookeeper Apache Curator客户端的使用

1，会话连接与恢复

2，节点的增删改查

3，watch与acl的相关操作