Zookeeper单机伪集群学习（...）

最新推荐文章于 2024-04-27 23:01:36 发布
最新推荐文章于 2024-04-27 23:01:36 发布
阅读量134 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nonbioclock/article/details/109049519
版权

学习SpringCloud中要用到Zookeeper就又跑过来学了。。

概念

  • ZooKeeper 是一个开源的分布式协调服务，设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。
  • Zookeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化，从而可以达到基于数据的集群管理。
  • ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。

特性

  • 全局一致性
    每个server保存的数据副本均是一致的，Client不管连哪个展示的数据都是一致的。

  • 可靠性：
    如果消息被其中一台服务器接收，那么将被所有服务器接收

  • 顺序性：
    包括全局有序和偏序两种

全局有序：如果在一台服务器上消息a在消息b前发布，则在所有Server上消息a都将在消息b前被发布。

偏序：如果一个消息b在消息a后被同一个发送者发布，a必然排在b前面。

  • 数据更新原子性：
    一次数据更新要么成功（半数以上节点成功），要么失败
  • 实时性：
    Zookeeper保证客户端将在一个时间讲个范围内获得服务器的更新信息，或者服务器失效的信息。

Zookeeper集群角色

在这里插入图片描述
Leader：Zookeeper集群工作的核心
事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性

Follower： 处理客户端非事务（读操作）请求，转发事务请求给Leader；

针对于访问量比较大的zookeeper集群，还可新增观察者角色

Observer：观察者角色，观察Zookeeper集群的最新状态变化并将这些状态同步过来，其对于非事务请求可以进行独立处理，对于事务请求，则会转发给leader服务器进行处理。（不越权！）

Zookeeper集群搭建

通常由2n+1台servers组成。为了保证leader的选举能得到多数的支持，所以Zookeeper集群数量一般为奇数！

Zookeeper运行需要java环境，所以需要提前安装jdk。（以为我之前搞了redis，所以就不用弄了。。）

1.检查jdk（不是openjdk！）

在这里插入图片描述

2.检测集群时间是否同步

我用的是xshell，准备三台服务器搭集群，先打开三个服务器

然后 查看-快速命令
在这里插入图片描述
在快速命令处输入date命令查看三台服务器时间是否一致，不一致自行修改！

3.检测防火墙是否关闭

我是Centos7的系统，Centos6和7的命令并不相通（7上6下）
在这里插入图片描述
直接systemctl disable firewalld

。。懒得写了，网上都有

4.检测主机ip映射有没有配置

5.下载解压

6.修改环境变量

7.修改Zookeeper配置文件

8.myid文件

如果是单机搭建的伪集群可看：（网上找的。。）
https://blog.csdn.net/qq_38787653/article/details/91860664
如果看到这里的人给个小建议，建议一步一步搭，先搭一个单机的zookeeper能启动了，在复制修改！（我可是搭了一下午啊我真是个脑残）

Zookeeper数据模型

1. 数据结构图

在这里插入图片描述
图中的每一个节点称为Znode，每个Znode由三部分组成

①stat：状态信息，描述Znode的版本，权限等信息
②data：与该Znode关联的数据
③children: 该Znode下的子节点

Zookeeper树的特点：

  1. Znode 兼具文件和目录两种特点，即像文件一样维护着数据、元信息、ACL、时间戳等数据结构，又像目录一样可以作为路径表示的一部分。
  2. Znode具有原子性操作，读将读所有数据，写将替换所有数据。
  3. Znode存储数据大小有限制，小文件存储系统，通常以KB为大小单位。（小于1M）
  4. Znode通过路径引用，路径必须是绝对的，所以必须由斜杠开头。

2.节点类型

Znode有两种，分别为临时节点和永久节点

临时节点：生命周期依赖于会话，会话结束，临时节点自动删除。一般不允许临时节点下拥有子节点。（因为如果临时节点下有永久节点，那么临时节点过期了，永久节点怎么办，产生谬论了。）

永久节点：生命周期不依赖与会话。永久存在，只有客户端执行删除操作时候才能被删除。

Znode还有一个序列化的特性，可以记录每个子节点创建的先后顺序。

由以上所述，节点属性分为4种：

  • PERSISTENT: 永久节点
  • EPHEMERAL: 临时节点
  • PERSISENT_SEQUENTIAL：永久节点，序列化
  • EPHEMERAL_SEQUENTIAL:临时节点，序列化

3.节点属性

  • dataVersion：数据版本号，每次对节点进行set操作，dataVersion的值都会增加1，可以有效避免了数据更新时出现的先后顺序问题。
  • cversion：子节点的版本号。当znode的子节点有变化是，cversion的值就会增加1
  • aclVersion：ACL的版本号
  • cZxid：Znode创建的事务id
  • mZxid：Znode被修改的事务id，每次对znode的修改都会更新mZxid。
  • ctime:节点创建时的时间戳
  • mtime:节点最新一次更新发生时的时间戳
  • ephemeralOwner：如果该节点为临时节点，ephemeralOwner值表示与该节点绑定的session id。如果节点为0，说明不是临时节点。

Zookeeper shell

1.客户端连接

zookeeper/bin/zkCli.sh -server ip		#进入Zookeeper客户端

2.创建节点

create默认创建永久节点，如果要创建临时节点加 -e 的参数，创建序列化节点 -s 参数

create [-e/-s] path data acl			#创建节点格式
  • 永久节点
    在这里插入图片描述
    由于全局一致性，我从另外一台机子也看的到
    在这里插入图片描述
  • 临时节点
    在这里插入图片描述
    在这里插入图片描述
  • 序列化节点
    在这里插入图片描述

3.读取节点

ls path [watch]			#ls可列出指定节点下的所有子节点（仅第一级）
get path [watch]		#get可以查看指定节点的数据内容
stat path [watch]		#可以查看属性信息

Tips:我是看视频学习的，但是视频上的get方法表现的像是我这里的stat方法一样，我觉得应该是版本原因，视频中还有个ls2方法，但是我这个版本用help找不到有这个方法，不过这都是小细节，应该影响不大！
补充：在这里插入图片描述

在这里插入图片描述

4.更新节点

set path data [version]		#data表要更新的内容，version表数据版本

在这里插入图片描述

5.删除节点

delete path [version]		#删除节点
Rmr path							#递归删除（慎重使用）

Tips:若删除的节点下有子节点，必须先删除子节点，在删除父节点。
在这里插入图片描述

6.quota命令

setquota -n|-b val path		#对节点增加限制
		n:表示子节点的最大个数（自己算一个！）
		b:表示数据值的最大长度
		val：子节点最大个数或数据值的最大长度
		path:节点路径

listquota path					#列出指定节点的quota
delquota	[-n|-b] path		#删除quota

是一个软限制，如果客户端的个数超过最大个数，不会报错，只会在日志中进行警告。

在这里插入图片描述

7.小命令

history			#列出命令历史
redo			#该命令可以重新执行指定命令编号的历史命令，命令编号可以通过history查看

在这里插入图片描述

ZooKeeper Watcher

Zookeeper提供了分布式数据发布/订阅功能，Zookeeper中引入了Watcher机制来实现这种分布式的通知功能。

Zookeeper允许客户端向服务端注册一个Watcher监听，当服务端的一些事件（节点创建，节点删除。。）触发了这个Watcher，那么就会向指定客户端发送一个时间通知来实现分布式的通知功能。

总的来说，Watcher可以概况为以下三个过程：客户端向服务端注册Watcher、服务端事件发生触发Watcher、客户端回调Watcher得到触发事件情况。

1.Watcher机制特点

  • 一次性触发
    事件触发监听，一个watcher event被发送到客户端，后续再次发生同样的事情不会再次触发。（我说了你不听那就没办法了）

  • 事件封装
    Zookeeper使用WatcherEvent对象来封装服务端事件并传递
    WatcherEvent包含事件的三大属性：
    通知状态(keeperState)、事件类型(EventType)、节点路径(path)

  • event异步发送
    watcher的通知事件从服务端发送到客户端是异步的。

  • 先注册在触发
    Zookeeper中的watch机制，必须客户端先去服务端注册监听。

2.通知状态和事件类型

在这里插入图片描述
如果连接状态事件（type=None，path=null）不需要客户端注册，客户端只需要直接处理就可以了。

3.设置监听Watcher

stat -w path			#设置监听

在这里插入图片描述

Zookeeper Java API

在SpringCloud中写吧。。（反正这里不写）

Zookeeper 选举机制

zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。 所以集群的服务器一般为奇数个。

1.概念

  • 服务器ID
    编号越大，在选择算法中的权重越大。

  • 选举状态
    LOOKING: 竞选状态
    FOLLOWING: 小弟
    OBSERVING: 观察状态（不投票），只参与非事务请求的处理
    LEADING: 老大

  • 数据ID
    服务器中存放的最新数据version
    值越大说明越信，在选举算法中数据越新权重越大

  • 逻辑时钟
    又叫投票次数，同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加，然后与接收到的其他服务器返回的投票信息中的数值相比，根据不同的值做出不同的判断。

2.默认投票方式

5台机器（1,2,3,4,5）
1投全部，自己共一票
2投2以上全部，自己共两票
3投3以上全部，共三票，超半数，故3号机当选leader。

3.非全新集群选举

1、逻辑时钟小得选举结果被忽略，重新投票（过滤到之前有没参与投票的服务器，或者出故障没投票的机器）
2、统一逻辑时钟后，数据id大的胜出（最新）
3、数据id相同，服务器id大的胜出

Zookeeper应用（待补充）

1.数据发布与订阅（配置中心）

发布与订阅模型，即所谓的配置中心，就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。

2.命名服务

分布式系统中，通过使用命名服务，客户端应用能够根据指定名字来获取资源或服务的地址，提供者等信息。

3.分布式锁

锁可以分为两类，一个是保持独占，另一个是控制时序。

网络编程

网络通信三要素

  • ip
    java中用InetAddress类来操纵IP地址
  • port
  • 协议

UDP(用户数据报协议）

  1. 将数据及源和目的封装成数据包中，不需要建立连接
  2. 每个数据包的大小限制在64K内
  3. 因为无连接，是不可靠协议
  4. 不需要建立连接，速度快

TCP（传输控制协议）

  1. 建立连接，形成传输数据的速度
  2. 在连接中进行大数据量传输
  3. 通过三次握手完成连接，是可靠协议
  4. 必须建立连接，效率会稍低

网络模型

在这里插入图片描述
…算了计网汇总再写吧哈哈

nonbioclock
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
zookeeper入门 - 1 - 如何在单机上实现ZooKeeper伪机群/伪集群部署
oraclestudy
07-26 150
《zooker入门系列教程》： 1 - 如何在单机上实现ZooKeeper伪机群/伪集群部署 2 - 解读zookeeper的配置项 ----- 此文是为手头没有多余机器可以尝试而又需要尝试部署机群的情况而写的，是一个入门的基础教程。 1. 下载解压zookeeper （1）下载地址：略 （2）解压：略 要注意的是，你打算在你的单机上建立几个ZooKee...
zookeeper 单机伪集群配置
殇沫流年的专栏
06-22 897
由于手头机器不足，所以在一台机器上部署了3个server,如果你手头也比较紧，也可以这么做。那么我建了3个文件夹，如下 server1 server2 server3 然后每个文件夹里面解压一个zookeeper的下载包，并且还建了几个文件夹，总体结构如下,最后那个是下载过来压缩包的解压文件 data dataLog logs zookeeper-3.3.2 那么首先进
zookeeper单机伪集群模式
sonycong的专栏
06-19 870
概念：就是一台机器上布置多个zookeeper 达到集群的效果。 用途：一般用于练习、学习zookeeper集群模式。 配置过程：   首先建立三个文件夹,server1、 server2 、server3，修改各自的配置文件，如果下： tickTime=2000 # The number of ticks that the initial # synchronization phase
ZooKeeper教程(二)----zookeeper单机版伪集群
fendo
07-26 868
一、配置 本文章演示在一台机器上部署3个zookeeper(也可以在三台机器上部署),实现伪集群,先在主文件夹下建立一个zookeeper文件夹，在zookeeper文件夹里建立三个文件夹server1,server2,server3 然后进入每一个目录通过以下命令下载zookeeper源码 或者把第一个下载下来的复制到另外两个目录
zookeeper搭建集群（单机伪集群）
rao991207823的博客
07-05 284
zookeeper搭建单机伪集群搭建步骤 搭建步骤 步骤1、在放置zookeeper的目录下，如“/usr/app/zookeeper”目录，创建zookeeper-colony，然后先创建子目录zk1，然后在zk1中创建数据存放目录data和日志存放目录logs。 ## 创建zk集群目录后进入在创建节点zk1目录，之后在创建data和logs目录 mkdir zookeeper-colony cd zookeeper-colony/ mkdir zk1 cd zk1 mkdir data mkdir
Zookeeper单机部署和集群部署文档.pdf
07-13
文档提到了ZooKeeper的三种安装模式，包括单机安装模式、伪集群模式和集群模式。单机安装模式仅在一台机器上部署ZooKeeper服务，适合于测试和开发环境；伪集群模式通过在同一台机器上部署多个ZooKeeper实例来模拟...
面试官：Zookeeper集群怎么搭建？.doc
07-08
Zookeeper集群有三种搭建方式：单机模式、伪分布模式和分布式模式。 * 单机模式：在单台机器上运行Zookeeper服务，适用于小型应用程序或测试环境。 * 伪分布模式：在同一台机器上运行多个Zookeeper实例，模拟分布式...
zookeeper使用文档V1.0.0.pdf
05-19
Zookeeper安装包括单机模式、集群模式和伪集群模式的搭建步骤。单机模式适用于测试和开发环境，而集群模式则适用于生产环境，以提高系统的可用性和容错能力。伪集群模式是模拟集群环境的一种方式，通常用于小型测试...
zookeeper-3.3.6.tar.gz
02-20
ZooKeeper支持三种部署模式：单机模式、伪集群模式和集群模式。其中，集群模式提供最高可用性和容错性。 五、ZooKeeper应用实践 5.1 集群同步 通过ZNode的创建和更新，可以实现分布式系统中各个节点的同步状态，如...
zookeeper伪集群配置
03-01
在单机环境下，为了模拟多节点集群的效果，我们可以设置Zookeeper的伪集群模式。 一、Zookeeper伪集群配置原理 在伪集群模式下，尽管所有节点都在同一台物理机器上运行，但每个节点都有独立的配置文件和数据存储...
Zookeeper单机伪集群搭建（三）
BushRo
07-26 935
由于电脑内存有限，就在一个虚拟机里面进行zookeeper伪集群搭建 1.复制两份一样的zookeeper,分别命名为zookeeper02,zookeeper03，一个主两个从，需要分别在主目录下创建dataDir目录，并且在下面创建myid文件，本案例就分别为1，2，3 下面配置中server.X，这个X值即为集群机器中myid文件中的值。 修改主节点conf下的配置，端口还是2181 zo...
部署ZooKeeper单机、伪群集和集群
看清所以看轻
04-05 292
一. Zookeeper简介 1.1 什么是Zookeeper ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，Google的Chubby一个开源的实现，是大数据生态中的重要组件。它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 它是一个为分布式应用提供一致性协调服务的中间件 1.2 ...
Nacos单机伪集群
qq_43663493的博客
11-14 1139
单机伪集群环境 1，阿里云Centos7 2，jdk1.8 4，MySQL5.7 5，nginx 作为负载均衡 6，nacos 1.4.1 官方文档：https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html 集群架构图 下载安装 1，在usr/local文件夹下创建文件夹nacos，并进入该文件夹,下载nacos，解压 mkdir nacos cd nacos wget https://github.com/alibaba/nacos/rele
Zookeeper伪分布式(单机)搭建
互联网知识分享
05-11 249
ZooKeeper数据模型的结构与Unix(linux前生)文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。）全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的。：一个领导者（leader），多个跟随者（follower）组成的集群。一个集群中，所有节点的配置信息是一致的，比如hadoop集群。这就是zk集群的每个节点里面的数据都是同步的，均衡的，（1）分布式环境中，实时掌握每个节点的状态是必要的。
zookeeper安装：单机模式、伪集群模式、集群模式
u010075335的专栏
09-27 472
zookeeper的安装分为三种模式： 单机模式、伪集群模式和集群模式。 安装需要用到的zookeeper文件，到http://zookeeper.apache.org/通过download链接下载。 一、单机模式安装zookeeper 1、设置环境变量 $ ZK_FILE=/vagrant/zookeeper-3.4.13.tar.gz $ ZK_INSTALL_PATH=/opt/zk $ Z...
zookeeper单机版和伪集群版的搭建
weixin_38104426的博客
01-27 264
一.单机版 1，下载: wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 2，解压: tar -zxvf zookeeper-3.4.10.tar.gz 3，在  zookeeper-3.4.10/conf  下拷贝 zoo_sample.cfg 并命名为 zoo...
zookeeper4-单机伪集群搭建
u012222011的博客
05-28 246
Zookeeper 集群模式： Leader: 处理所有的事务请求（写请求），可以处理读请求，集群中只能有一个Leader Follower：只能处理读请求，同时作为 Leader的候选节点，即如果Leader宕机，Follower节点 要参与到新的Leader选举中，有可能成为新的Leader节点。 Observer：只能处理读请求。不能参与选举 安裝步骤： tar ‐zxvf apache‐zookeeper‐3.5.8‐bin.tar.gz mv apache‐zookeeper‐3.5.
ZooKeeper 搭建详细步骤之二（伪集群模式）
最新发布
zp8126的专栏
04-27 1546
ZooKeeper 伪集群是指在一个单一的物理或虚拟机环境中模拟出一个由多个 ZooKeeper 节点构成的集群。尽管这些节点实际上运行在同一台机器上，但它们通过配置不同的端口、数据目录和配置文件，以模拟在真实分布式环境下不同服务器上运行的效果。
Zookeeper服务部署方式简介：单机、伪集群、集群模式安装指南
Zookeeper的安装方式有三种，分别是单机模式、伪集群模式和集群模式。在单机模式下，Zookeeper只运行在一台服务器上，适合用于测试环境或者小规模的应用场景。而伪集群模式则是在一台物理机上运行多个Zookeeper实例...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值