01 zookeeper学习
1.Zookeeper 是一个分布式的服务协调框架。
主要用于协调辅助其他的框架正常的运行
主要是为了解决应用系统当中的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题。
Zookeeper 的本质是一个分布式的小文件存储系统:
zk上面的每个文件内容最好不要超过1M提供基于类似于文件系统的目录树方式的数据存储,
并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。
通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。
例如:*统一命名服务;
*分布式配置管理;
分布式消息队列;
分布式锁;
分布式协调功能;
分布式:每台机器看到的数据都是一样的。
2.Zookeeper的架构图
主从架构:主节点是我们任务分配的节点,从节点执行任务的节点
主备架构:解决我们主节点单一故障的问题
Leader:
Zookeeper 集群工作的核心
事务请求(写操作) 的唯一调度和处理者,保证集群事务处理的顺序性;
集群内部各个服务器的调度者。
对于 create, setData, delete 等有写操作的请求,则需要统一转发给leader 处理,
leader 需要决定编号、执行操作,这个过程称为一个事务。
Follower:
处理客户端非事务(读操作) 请求,
转发事务请求给 Leader;
参与集群 Leader 选举投票 2n-1台可以做集群投票。
此外,针对访问量比较大的 zookeeper 集群, 还可新增观察者角色。
Observer:
观察者角色,观察 Zookeeper 集群的最新状态变化并将这些状态同步过
来,其对于非事务请求可以进行独立处理,对于事务请求,则会转发给 Leader
服务器进行处理。
不会参与任何形式的投票只提供非事务服务,通常用于在不影响集群事务
处理能力的前提下提升集群的非事务处理能力。
扯淡:说白了就是增加并发的读请求
3.zookeeper的特性
1.全局数据一致:每个 server 保存一份相同的数据副本, client 无论连接到哪个server,
展示的数据都是一致的,这是最重要的特征;
2. 可靠性:如果消息被其中一台服务器接受,那么将被所有的服务器接受。
3. 顺序性:包括全局有序和偏序两种:全局有序是指如果在一台服务器上
消息 a 在消息 b 前发布,则在所有 Server 上消息 a 都将在消息 b 前被
发布;偏序是指如果一个消息 b 在消息 a 后被同一个发送者发布, a 必
将排在 b 前面。
4. 数据更新原子性:一次数据更新要么成功(半数以上节点成功),要么失
败,不存在中间状态;
5. 实时性: Zookeeper 保证客户端将在一个时间间隔范围内获得服务器的
更新信息,或者服务器失效的信息。
4.三台机器zookeeper的集群环境搭建
Zookeeper 集群搭建指的是 ZooKeeper 分布式模式安装。
通常由 2n+1台 servers 组成。 这是因为为了保证 Leader 选举(基于 Paxos 算法的实
现) 能过得到多数的支持,所以 ZooKeeper 集群的数量一般为奇数。
Zookeeper 运行需要 java 环境, 所以需要提前安装 jdk。 对于安装
leader+follower 模式的集群, 大致过程如下:
1.配置主机名称到 IP 地址映射配置
2.修改 ZooKeeper 配置文件
3.远程复制分发安装文件
4.设置 myid
5.启动 ZooKeeper 集群
如果要想使用 Observer 模式,可在对应节点的配置文件添加如下配置:
peerType=observer
其次,必须在配置文件指定哪些节点被指定为 Observer,如:
server.1:localhost:2181:3181:observer
主机
hostname
myid的值
192.168.124.110
node1
1
192.168.124.120
node2
2
192.168.124.130
node3
3
第一步:下载zookeeeper的压缩包,下载网址如下
http://archive.apache.org/dist/zookeeper/
我们在这个网址下载我们使用的zk版本为3.4.9
下载完成之后,上传到我们的linux的/export/softwares路径下准备进行安装
第二步:解压
解压zookeeper的压缩包到/export/servers路径下去,然后准备进行安装
cd /export/softwares
tar -zxvf zookeeper-3.4.9.tar.gz -C ../servers/
第三步:修改配置文件
第一台机器修改配置文件
cd /export/servers/zookeeper-3.4.9/conf/
cp zoo_sample.cfg zoo.cfg
mkdir -p /export/servers/zookeeper-3.4.9/zkdatas/
vim zoo.cfg
dataDir=/ export/ servers/ zookeeper- 3. 4. 9/ zkdatas
autopurge. snapRetainCount=3
autopurge. purgeInterval=1
server. 1=node01:2888:3888
server. 2=node02:2888:3888
server. 3=node03:2888:3888
第四步:添加myid配置
在第一台机器的
/export/servers/zookeeper-3.4.9/zkdatas/这个路径下创建一个文件,
文件名为myid ,文件内容为1
echo 1 > /export/servers/zookeeper-3.4.9/zkdatas/myid
第五步:安装包分发并修改myid的值
安装包分发到其他机器
第一台机器上面执行以下两个命令
scp -r /export/servers/zookeeper-3.4.9/ node02:$PWD
scp -r /export/servers/zookeeper-3.4.9/ node03:$PWD
第二台机器上修改myid的值为2
echo 2 > /export/servers/zookeeper-3.4.9/zkdatas/myid
第三台机器上修改myid的值为3
echo 3 > /export/servers/zookeeper-3.4.9/zkdatas/myid
第六步:三台机器启动zookeeper服务
三台机器启动zookeeper服务
这个命令三台机器都要执行
/export/servers/zookeeper-3.4.9/bin/zkServer.sh start
查看启动状态
/export/servers/zookeeper-3.4.9/bin/zkServer.sh status
5.zookeeper的shell操作
1.客户端连接
bin/zkCli.sh 链接客户端
2.节点的增删改查
zookeeper中只有绝对路径,无相对路径
增:
create [-s] [-e] path data acl
其中,-s 或-e 分别指定节点特性,顺序或临时节点,若不指定,则表示持 久节点;
acl 用来进行权限控制。
1.永久节点
[zk: localhost:2181(CONNECTED) 0] create /abc helloworld
2.永久的顺序节点
[zk: localhost:2181(CONNECTED) 3] create -s /bbd hello -->Created /bbb0000000001
3.临时节点(关闭连接后节点消失)
[zk: localhost:2181(CONNECTED) 7] create -e /aaa heool
4.临时顺序节点
[zk: localhost:2181(CONNECTED) 1] create -s -e /mytemp mytemp
查:
查询/目录下有哪些节点 ls /
获取节点值 get /abc
改:
修改节点数据 set /abc scy
删:
删除节点 delete /abc
递归删除 rmr /abc/aaa
其他命令:
查看历史命令 history