Zookeeper

最新推荐文章于 2024-05-20 15:54:22 发布
最新推荐文章于 2024-05-20 15:54:22 发布
阅读量636 收藏
点赞数 1
文章标签： zookeeper java 分布式 linux rpc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vvvvvxvvvvv/article/details/104987916
版权

zookeeper

一、简介

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

ZooKeeper包含一个简单的原语集，提供Java和C的接口。

ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在$zookeeper_home\src\recipes。其中分布锁和队列有Java和C两个版本，选举只有Java版本。

一个基于观察者模式的分布式服务管理架构，它负责存储管理大家关心的数据，然后接收观察者注册，一旦这些数据发生状态变化，ZooKeeper就将负责通知在ZooKeeper上注册的观察者做出反应，就像redis的maser/slaver。

命名服务、配置维护、集群管理、分布式消息同步和协调机制、负载均衡、对Dubbo的支持。

二、Linux下安装ZooKeeper并启动

前往ZooKeeper官网，下载ZooKeeper页面。此处使用3.5.6版本

ZooKeeper需要Java环境的支持，所以服务器要先安装JDK

将apache-zookeeper-3.5.6.tar.gz文件通过Xftp传输到Linux系统上，解压放进myzookeeper文件夹

makdir myzookeeper                               创建文件夹
tar -zxvf apache-zookeeper-3.5.6.tar.gz          解压命令
cp -r apache-zookeeper-3.5.6-bin  /opt/software/myzookeeper   copy进自己创建的文件夹

成功后进入文件夹查看

[root@localhost myzookeeper]# cd apache-zookeeper-3.5.6-bin/
[root@localhost apache-zookeeper-3.5.6-bin]# ll
总用量 32
drwxr-xr-x. 2 user user   232 10月  9 04:14 bin
drwxr-xr-x. 2 user user    70 3月  19 17:03 conf
drwxr-xr-x. 5 user user  4096 10月  9 04:15 docs
drwxr-xr-x. 2 root root  4096 11月 10 13:29 lib
-rw-r--r--. 1 user user 11358 10月  5 19:27 LICENSE.txt
drwxr-xr-x. 2 root root    61 11月 10 13:32 logs
-rw-r--r--. 1 user user   432 10月  9 04:14 NOTICE.txt
-rw-r--r--. 1 user user  1560 10月  9 04:14 README.md
-rw-r--r--. 1 user user  1347 10月  5 19:27 README_packaging.txt

ZooKeeper配置文件在 conf下的zoo.cfg，我修改并注释的配置文件在最下方。

进入bin目录 启动server，启动client，退出

[root@localhost apache-zookeeper-3.5.6-bin]# cd bin/
[root@localhost bin]# ./zkServer.sh start                启动
ZooKeeper JMX enabled by default
Using config: /opt/software/myzookeeper/apache-zookeeper-3.5.6-bin/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@localhost bin]# ps -ef |grep zookeeper             查看启动情况
…………
[root@localhost bin]# ./zkCli.sh                         启动客户端
…………
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /                   启动成功
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /zookeeper
[quota]
[zk: localhost:2181(CONNECTED) 2] quit                   退出连接
[root@localhost bin]# ./zkServer.sh stop                 关闭服务

三、Helloword

[zk: localhost:2181(CONNECTED) 0] ls /
[dubbo, zookeeper]
[zk: localhost:2181(CONNECTED) 1] create /helloword hello   创建节点
Created /helloword
[zk: localhost:2181(CONNECTED) 2] ls /
[dubbo, helloword, zookeeper]
[zk: localhost:2181(CONNECTED) 3] get /helloword            获取节点
hello
[zk: localhost:2181(CONNECTED) 4] set /helloword hello01    set节点
[zk: localhost:2181(CONNECTED) 5] get /helloword
hello01
[zk: localhost:2181(CONNECTED) 6] delete /helloword         删除节点
[zk: localhost:2181(CONNECTED) 7] ls /
[dubbo, zookeeper]

ZooKeeper数据模型结构就像是Linux的文件系统，整体上能够看作是一棵树，每个节点成为ZNode,每个节点默认最大存储1M。每个节点通过路径唯一标识

在这里插入图片描述

四、节点

[zk: localhost:2181(CONNECTED) 11] create /test test01
Created /test
[zk: localhost:2181(CONNECTED) 12] create /test test02
Node already exists: /test
[zk: localhost:2181(CONNECTED) 23] create /helloword helloword
Created /helloword
[zk: localhost:2181(CONNECTED) 24] get /helloword
helloword
[zk: localhost:2181(CONNECTED) 25] stat /helloword    节点状态
cZxid = 0x79                                          事务ID
ctime = Fri Mar 20 10:03:06 CST 2020                  创建时间
mZxid = 0x79                                          修改的事务id
mtime = Fri Mar 20 10:03:06 CST 2020                  修改时间
pZxid = 0x79                                          最后更新的子节点zxid
cversion = 0                                          子节点变化号
dataVersion = 0                                       数据变化号
aclVersion = 0                                        访问控制列表变化号
ephemeralOwner = 0x0               不是临时节点为0，是临时节点znode拥有者的session id
dataLength = 9                                        数据长度
numChildren = 0                                       子节点数
[zk: localhost:2181(CONNECTED) 26]

  • 节点类型：

    1. 持久型节点：①客户端与服务器断开后创建节点不删除，依旧存在②客户端与服务器断开后创建节点不删除，依旧存在，但是会进行顺序编号

    2. 临时目录节点：①客户端与服务器断开或者挂掉后创建节点立即删除②客户端与服务器断开或者挂掉后创建节点立即删除，但是新建会编号增加

      [zk: localhost:2181(CONNECTED) 26] create -s /myznode01 v01   -s自动编号
Created /myznode010000000005
[zk: localhost:2181(CONNECTED) 27] ls /
[dubbo, helloword, myznode010000000005, zookeeper]
[zk: localhost:2181(CONNECTED) 28] create -s /myznode01 v02
Created /myznode010000000006
[zk: localhost:2181(CONNECTED) 29] ls /
[dubbo, helloword, myznode010000000005, myznode010000000006, zookeeper]
[zk: localhost:2181(CONNECTED) 30] create -e /mytest v01      -e临时节点
Created /mytest
[zk: localhost:2181(CONNECTED) 32] ls /
[dubbo, helloword, mytest, myznode010000000005, myznode010000000006, zookeeper]

      什么都不带就是持久化 -p 带序号 -s节点，重启客户端发现mytest没了

      WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[dubbo, helloword, myznode010000000005, myznode010000000006, zookeeper]
[zk: localhost:2181(CONNECTED) 1]

五、通知机制watch

客户端监听它关心的目录节点，当目录节点发生变化时，zookeeper会通知客户端。

watch：异步+回调+触发机制

# 在client1中监视
[zk: localhost:2181(CONNECTED) 1] get /testwatch watch01
persistent,no-sequence
cZxid = 0x81
ctime = Fri Mar 20 12:56:08 CST 2020
mZxid = 0x82
mtime = Fri Mar 20 12:56:30 CST 2020
pZxid = 0x81
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0

# 在client2中set
[zk: localhost:2181(CONNECTED) 0] set /testwatch watch02
cZxid = 0x81
ctime = Fri Mar 20 12:56:08 CST 2020
mZxid = 0x82
mtime = Fri Mar 20 12:56:30 CST 2020
pZxid = 0x81
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0

# client1监视到数据变化
[zk: localhost:2181(CONNECTED) 2]
WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/testwatch

六、Zookeeper集群leader+flower

在多台服务器上配置Zookeeper服务端和客户端，配置配置文件zoo.cfg 书写规则如下

#server.N=YYYY  :AA  :BB
#N为服务编号，AA为通信端口，集群中交换信息的端口，zookeeper默认就是2888，BB为选举新leader端口，一般所有机器的A、B端口一致
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

分别启动三台服务，三台客户端。

注：上边我已经将IP映射地址写入hosts文件，根据自己情况写，没有那么多服务器的可以用伪集群。

copy apache-zookeeper-3.5.6-bin 文件，重命名zk1、zk2、zk3，分别修改配置文件中的clientPort为2182、2183、2184，数据存储位置也要改，日志位置也要改，集群配置改为如下

server.1=127.0.0.1:2182:3991
server.2=127.0.0.1:2183:3992
server.3=127.0.0.1:2184:3993

分别启动三台服务器
四个终端分别客户端连接
./zkCli.sh -server 127.0.0.1:2182
./zkCli.sh -server 127.0.0.1:2183
./zkCli.sh -server 127.0.0.1:2184

Zookeeper

  • 核心：ZooKeeper:文件系统+通知机制

  • 可做注册中心，软负载均衡

  • 奇数机制：最好用奇数台。因为半数以上机器存活集群可用。

  • leader选举机制：一个leader，多个flower，leader宕机之后他们会投票，先投自己，投票超过半数就是leader，如果投自己不行，就投id号最大的，选完leader后就不再选。

  • 节点类型：
    1. 持久型节点：①客户端与服务器断开后创建节点不删除，依旧存在②客户端与服务器断开后创建节点不删除，依旧存在，但是会进行顺序编号
    2. 临时目录节点：①客户端与服务器断开或者挂掉后创建节点立即删除②客户端与服务器断开或者挂掉后创建节点立即删除，但是新建会编号增加

  • 监听原理：首先一个main线程，main线程中创建客户端，然后创建两个线程，一个负责网络通信，一个负责监听，通过connect线程将注册事件发送给ZooKeeper，在ZooKeeper的注册监听器列表中，将事件添加到列表中，ZooKeeper监听到有数据变化，或者路径变化，就会将消息发送给listener线程，listener线程内部调用process方法，常见监听：监听节点：get 节点watch 监听路径子节点数量变化：ls 节点 watch

ZooKeeper的配置文件，zoo.cfg文件

#The number of milliseconds of each tick
#心跳时间，每个2S检测一次
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
#1通信时长延迟启动时，初始链接时能容忍的心跳次数10*2S
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
#启动之后通信时间延时5*2S
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
#存储数据位置zkData文件夹
dataDir=/opt/software/zkData
# the port at which the clients will connect
#客户端访问端口号
clientPort=2181

#配置集群时，node为域名(Ip地址，在etc/hosts里边配置)，2888为zookeeper的通信端口3888为选举的端口号，不用集群时不用配置
#server.N=YYYY  :AA  :BB
#N为服务编号，AA为通信端口，集群中交换信息的端口，zookeeper默认就是2888，BB为选举新leader端口
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888
server.4=node04:2888:3888

# the maximum number of client connections.
# increase this if you need to handle more clients
# maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
#http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
VVVVVxVVVVV
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
zookeeper3.5.5镜像
06-29
zookeeper3.5.5镜像
zookeeper
CottonDuke的博客
10-25 535
下载zookeeper3.4.5重命名配置文件zookeeper_home/conf/zoo_sample.cfg修改为zoo.cfg修改配置文件zoo.cfg  dataDir目录指定了ZK的数据目录，用于存储ZK的快照文件（snapshot）。另外，默认情况下，ZK的事务日志也会存储在这个目录中dataDir=zookeeper_home/data dataDir日志太多，一般要设置定时删除机...
Zookeeper集群
qwq1518346864的博客
06-30 519
目录 Zookeeper集群架构图 Zookeeper集群中节点的角色 Zookeeper数据同步 Zookeeper选举 搭建Zookeeper集群 Java连接Zookeeper集群 Zookeeper集群架构图 Zookeeper集群中节点的角色 Leader(Master)：事务请求的唯一处理者，也可以处理读请求。 Follower(Slave)：可以直接处理客户端的读请求，并向客户端响应；但其不会处理事务请求，其只会将客户端事务请求转发给Leader来处理
ZooKeeper学习
苜蓿花乐园
03-02 2360
每个客户端都在指定的节点下注册一个临时的有序节点，越早创建的节点编号越小，依据最小的节点获取锁。利用Zookeeper节点的特性实现分布式锁，即同级节点的唯一性，多个进程往Zookeeper的指定节点下相同名称的节点只能有一个成功，失败的节点通过Watcher机制监听，一旦监听到节点的删除事件则再次触发所有进场去写锁。参与选举的节点会创建一个顺序节点，其中最小的一个做为master节点，没抢到的节点都监听前一个节点的删除事件，当master节点手动删除，或者挂了，后续节点抢占master。
ZooKeeper
热门推荐
学习记录和总结
06-05 1万+
ZooKeeper的概述，单体安装以及分布式安装、客户端操作命令以及Java客户端操作
zookeeper集群
weixin_55609824的博客
07-26 1万+
目录一、Zookeeper定义二、 zookeeper工作机制三、zookeeper特点四、Zookeeper数据结构五、zookeeper应用场景六、/l zookeeper选举机制 一、Zookeeper定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 二、 zookeeper工作机制 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zooke
Zookeeper原理
02-21
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在...
zookeeper连接工具
07-05
zookeeper连接工具,可视化数据查看
zookeeper限制ip版
04-12
修改 zookeeper 3.4.14 源码，添加黑、白名单功能。
zookeeper源码(13)客户端
xuguofeng2016的博客
05-17 708
通过阅读zookeeper源码深入了解客户端原理
zookeeper的Shell操作命令
qq_42456324的博客
05-17 115
作⽤创建⼀个节点，可以设置节点的初始内容选项-e:设置短暂类型节点-s:设置顺序节点示例create /test 创建持久化节点create /test2 "content message" 创建带初始化内容的持久化节点create -e /test3 "content message" 创建带初始化内容的临时节点create -e -s /test "content message" 创建带初始化内容的顺序临时节点。
大数据开发面试题【Zookeeper篇】
最新发布
weixin_53191998的博客
05-20 406
吐血整理，小编亲身经历
ZooKeeper系列之ZAB协议
lonelymanontheway的博客
05-16 1128
基础概念：集群角色、运行时状态、ZAB状态、状态切换、Epoch、Proposal、Zxid；模式：崩溃恢复、消息广播；数据一致性；选举：4个阶段、Leader Election领导选举、Discovery发现、Synchronization同步、Broadcast广播、ZAB选举过程、Java实现、Fast Leader Election、Recovery Phase；拓展：ZAB对比二阶段提交、对比Paxos
ZooKeeper 应用场景深度解析
喔的嘛呀的博客
05-17 790
ZooKeeper 是一个分布式协调服务，被广泛应用于构建高可用、可靠性强的分布式系统。它提供了一组简单而强大的原语，用于解决分布式系统中常见的协调和同步问题。在本文中，我们将深入探讨 ZooKeeper 的多个应用场景，为读者呈现 ZooKeeper 在实际项目中的卓越价值
jar包增量更新分析
junlaiyan的专栏
05-16 252
借助jdeps分析出jar包的增量文件
java实现拼图小游戏
monkey108的博客
05-16 617
本文主要提供用java实现的拼图小游戏源代码。
c【语言】了解指针，爱上指针（1）
yzqy_的博客
05-16 899
在计算机中，数据是存储在内存中的，cpu从内存中读取数据，为了方便读取数据，内存又被划分为了一个个的内存单元，一个内存单元的大小就是一字节，一字节等于8bit位，我们给内存进行编号，这个编号就是地址，在c语言中给这个地址起了个名字。是的，亲爱的读者你肯定发现了，&a、p和pc输出的地址是一样的,但&a+1与p+1输出的地址是一样的00EFF940，一次都跳过了4字节，而pc+1输出的却是00EFF93D，一次只跳过一个字节。但是硬件与硬件之间是相互独立的，这该如何实现数据传输呢？”答案当然是否定的。
命令执行漏洞（二）
XLbb的博客
05-15 902
POST方法，S2-045-bypass-2漏洞存在！,程序更改为S2-045-bypass-2漏洞测试模式, 响应码: 200。POST方法，S2-046-bypass漏洞存在！POST方法，S2-045-bypass漏洞存在！POST方法，S2-046-1漏洞存在！POST方法，S2-046-2漏洞存在！POST方法，S2-046-3漏洞存在！POST方法，S2-045-1漏洞存在！POST方法，S2-045-3漏洞存在！POST方法，S2-045-2漏洞存在！POST方法，S2-045-4漏洞存在！
Zookeeper官网
04-27
Zookeeper是一个开源的分布式协调服务，它提供了一个简单的接口，用于分布式应用程序中的协调任务，如配置管理、命名服务、分布式锁和分布式队列等。Zookeeper官网是Zookeeper项目的官方网站，提供了详细的文档、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值