分布式技术之ZooKeeper
文章平均质量分 61
.NET跨平台
比较认真。编程就是算法和数据结构,算法和数据结构是编程的灵魂。
展开
-
zookeeper使用
下载地址 https://zookeeper.apache.org/releases.html文档地址 https://zookeeper.apache.org/doc/r3.7.0/zookeeperCLI.html。转载 2023-08-27 21:03:54 · 74 阅读 · 0 评论 -
zookeeper四字监控命令
zookeeper支持某些特定的四字命令与其的交互。它们大多数是查询命令,用来获取zookeeper服务的当前状态及相关信息。用户在客户端可以通过telnet或nc向zookeeper提交相应的命令。zookeeper四字命令说明conf输出zookeeper相关服务的详细配置信息,如客户端端口、数据存储路径、最大连接数、日志路径、数据同步端口、主节点推举端口、session超时时间等cons。转载 2023-08-14 23:13:46 · 212 阅读 · 0 评论 -
ZookeeperNetEx.Recipes(C#)开源包分布式锁源码走读及使用
关于C#版本 的内容太少了,想要了解怎么使用就需要去了解源码。以下按照我的学习思路分享:我看的java版本的,不过实现原理和过程基本都是一样的。通过看源码知道使用它时大致需要做什么。https://github.com/apache/zookeeper/tree/master/zookeeper-recipes/zookeeper-recipes-lockTest是用分布式锁实现选举的例子。大致就是这5个类,先简单介绍以下:从上面的简单分析,大致尝试一下使用:主要就是获得锁时执行的内容,和释放锁时的事情转载 2023-08-02 17:05:23 · 246 阅读 · 0 评论 -
浅谈分布式服务协调技术 Zookeeper
对于集群中已经存在Leader而言,此种情况一般都是某台机器启动得较晚,在其启动之前,集群已经在正常工作,对这种情况,该机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器而言,仅仅需要和Leader机器建立起连接,并进行状态同步即可。每台机器发出投票后,也会收到其他机器的投票,每台机器会根据一定规则来处理收到的其他机器的投票,并以此来决定是否需要变更自己的投票,这个规则也是整个Leader选举算法的核心所在,其中术语描述如下。Leader选举是保证分布式数据一致性的关键所在。转载 2022-12-09 01:22:04 · 254 阅读 · 0 评论 -
C#如何连接使用Zookeeper
Zookeeper作为分布式的服务框架,虽然是java写的,但是强大的C#也可以连接使用。C#要连接使用Zookeeper,需要借助第三方插件,而现在主要有两个插件可供使用,分别是ZooKeeper…Zookeeper作为分布式的服务框架,虽然是java写的,但是强大的C#也可以连接使用。C#要连接使用Zookeeper,需要借助第三方插件,而现在主要有两个插件可供使用,分别是ZooKeeperNetEx和Zookeeper.NetZookeeper.Net好像是是Apache官方提供的,但是5年.转载 2022-05-08 13:03:03 · 833 阅读 · 0 评论 -
Zab协议 思维导图
Zab协议zookeeper ZAB协议三阶段(选举、恢复、广播)ZAB协议zk选举——countVotes投票统计算法ZAB协议zookeeper ZAB流程ZooKeeper(ZAB原子广播协议)转载 2022-04-17 11:28:00 · 187 阅读 · 0 评论 -
Paxos思维导图
paxos算法(zookeeper基础算法)paxos算法Paxos LivenessBasic-PaxosMulti-Paxos转载 2022-04-16 17:29:43 · 151 阅读 · 0 评论 -
Zookeeper:新增、查看、修改、删除节点
新增节点create [-s] [-e] path data #其中-s 为有序节点,-e临时节点不写 -s/-e 默认为创建持久化节点create /wj "20200521"查看该节点:get /wj持久化之后:退出当前对话quit重新开启一个会话,仍然可以get /wj(1)创建持久化有序节点:有序节点:节点名+自增序号create -s /a "a"这时候,直接get /a是获取不到该节点的需要加上自增序号(2)创建临时节点,临时节点会在会话过期后删除cr转载 2022-04-15 14:31:28 · 10312 阅读 · 0 评论 -
分布式锁 思维导图
分布式锁分布式锁专题分布式锁总结Redisson分布式锁和Zookeeper分布式锁对比转载 2022-03-26 20:29:01 · 225 阅读 · 0 评论 -
Zookeeper思维导图(二)
zookeeper 架构、核心概念、关键流程ZookeeperzookeeperZookeeperzookeeperzookeeper基础知识Zookeeper学习路线Zookeeper如何实现服务注册中心zookeeper关键知识点总结Zookeeperzookeeper知识整理zookeeper总结ZOOKEEPER理论zookeeper简介...转载 2022-03-26 20:00:56 · 276 阅读 · 0 评论 -
ZookeeperNet太难用,写了个RetryHelper来进行配套使用
普通的zk用法,如下写法:zk.Exists("/aaa", true);zk.Create(...);但是由于这些API会抛Zookeeper的Exception,比如ConnectionLossException, NoNodeException等,所以必须配合一堆try/catch的机制来catch错误,catch后再处理…写起来很麻烦因此写了个RetryHelper来封装上面这个try/catch行为,用起来也比较方便,如下:RetryHelper helper=RetryHelper转载 2020-07-10 13:47:57 · 293 阅读 · 0 评论 -
ZooKeeper系列(四)
一、配置服务配置服务是分布式应用所需要的基本服务之一,它使集群中的机器可以共享配置信息中那些公共的部分。简单地说,ZooKeeper可以作为一个具有高可用性的配置存储器,允许分布式应用的参与者检索和更新配置文件。使用ZooKeeper中的观察机制,可以建立一个活跃的配置服务,使那些感兴趣的客户端能够获得配置信息修改的通知。下面来编写一个这样的服务。我们通过两个假设来简化所需实现的服务(稍加...转载 2018-07-30 22:18:46 · 366 阅读 · 0 评论 -
ZooKeeper系列(三)
前面虽然配置了集群模式的Zookeeper,但是为了方面学建议在伪分布式模式的Zookeeper学习Zookeeper的shell命令。一、Zookeeper的四字命令Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令,用来获取Zookeeper服务的当前状态及相关信息。用户在客户端可以通过telnet或nc向Zookeeper提交相应的命令。Zookeeper常...转载 2018-07-30 21:23:57 · 315 阅读 · 0 评论 -
Zookeeper.NET Client(二)【官方驱动 开发入门】
首先项目结构很简单,如图:原创 2016-07-27 22:23:08 · 4026 阅读 · 0 评论 -
Zookeeper.NET Client(三)【Znode节点增删改查】
那些最能干的人,往往是那些即使在最绝望的环境里,仍不断传送成功意念的人。他们不但鼓舞自己,也振奋他人,不达成功,誓不休止。——安东尼·罗宾class Program { static void Main(string[] args) { //创建一个Zookeeper实例,第一个参数为目标服务器地址和端口,第二个参数为Session超时时原创 2016-10-02 02:08:34 · 10829 阅读 · 0 评论 -
Zookeeper信息查看工具
NET平台:用于查看和搜索Zookeeper节点的.NET UI工具。 节点可以在树形视图或可搜索的平面列表中显示。 同时支持多个“集合体”,只需在app.config中添加多个连接字符串 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble)如图:Java平台:公司很多产品会使用zookeeper,比如Meta消息中间件,在测试原创 2017-07-24 22:03:09 · 1927 阅读 · 0 评论 -
Zookeeper常用命令
启动Windows环境双击zkServer.cmd脚本即可启动ZooKeeperLinux环境使用zkServer.sh脚本,如下:3 常用命令3.1. 启动ZK服务: bin/zkServer.sh start3.2. 查看ZK服务状态: bin/zkServer.sh status3.3 停止ZK服务: bin/zkServer.sh stop3.4. 重转载 2017-07-25 11:00:40 · 6720 阅读 · 0 评论 -
ZooKeeper实战【Windows集群环境搭建】
概述ZooKeeper是Hadoop的开源子项目(Google Chubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置管理、命名服务、分布式锁、集群管理等。本文主要讲述如何在Windows环境上搭建ZooKeeper集群环境,注意是在一台Windows机器上部署3个ZooKeeper实例。 本文介绍的 Zookeeper 是以 3.4.8 稳定版本为基础,下载链接转载 2017-07-25 14:19:57 · 2081 阅读 · 0 评论 -
window环境搭建zookeeper,kafka集群
本文是对在window环境下如何搭建zookeeper集群和kafka集群的研究,如果你正在查找相关此类资料,希望本文能对你有所帮助。网上很多资料关于”kafka集群”几乎都是一个模样,写得东西很类似,而且很多细节没有注明,需要在不断的测试过程中推敲才能得到理想的结果。本篇文章力求能尽量说明每一个细节每一个步骤,达到只要认真看过本文者都能自己搭建一个基于window的kafka集群环境,当然这里仅代转载 2017-09-13 10:43:09 · 877 阅读 · 0 评论 -
ZookeeperClient(基于ZooKeeperNetEx再次封装)
概述ZooKeeper本质上是一个分布式的小文件存储系统。原本是Apache Hadoop的一个组件,现在被拆分为一个Hadoop的独立子项目。Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是 Zookeeper 并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控转载 2017-12-13 16:06:20 · 2299 阅读 · 0 评论 -
基于zookeeper简单实现分布式锁
这里利用zookeeper的EPHEMERAL_SEQUENTIAL类型节点及watcher机制,来简单实现分布式锁。 主要思想: 1、开启10个线程,在disLocks节点下各自创建名为sub的EPHEMERAL_SEQUENTIAL节点; 2、获取disLocks节点下所有子节点,排序,如果自己的节点编号最小,则获取锁; 3、否则watch排在自己前面的节点,监听到其删除后,进入第2步(转载 2017-12-13 16:28:38 · 545 阅读 · 0 评论 -
基于zookeeper实现分布式锁
一、分布式锁介绍 分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问,以达到保证数据的一致性。二、架构介绍 在介绍使用Zookeeper实现分布式锁之前,首先看当前的系统架构图 三、分布式锁获取思路1.获取分布式锁的总体思路在获取分布式锁的时候在locker节点下创建临时顺序节点,释放锁的时候删除该临时节点。客户端调用createNode方法在locker转载 2017-12-13 16:53:39 · 1052 阅读 · 0 评论 -
zookeeper 清理snapshot及事务日志
在使用zookeeper过程中,我们知道,会有dataDir和dataLogDir两个目录,分别用于snapshot和事务日志的输出(默认情况下只有dataDir目录,snapshot和事务日志都保存在这个目录中,关于这两个目录的详细说明,请看《ZooKeeper管理员指南》)。第一种,也是运维人员最常用的,写一个删除日志脚本,每天定时执行即可:#!/bin/bash#snapshot...转载 2018-07-28 14:41:31 · 4090 阅读 · 0 评论 -
ZooKeeper 基础知识、部署和应用程序
简介让我们首先讨论一下为什么想使用 ZooKeeper。ZooKeeper 是一个面向分布式系统的构建块。当设计一个分布式系统时,一般需要设计和开发一些协调服务: - 名称服务— 名称服务是将一个名称映射到与该名称有关联的一些信息的服务。电话目录是将人的名字映射到其电话号码的一个名称服务。同样,DNS服务也是一个名称服务,它将一个域名映射到一个 IP 地址。在分布式系统中,您可能想跟踪哪些...转载 2018-07-28 16:30:14 · 543 阅读 · 0 评论 -
Zookeeper系列(一)
一、Zookeeper的背景1.1 认识ZookeeperZookeeper—译名为“动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动 物所观赏。为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样我们才能更加放心安全...转载 2018-07-29 00:10:57 · 407 阅读 · 0 评论 -
ZooKeeper系列(二)
Zookeeper的环境配置一、Zookeeper的搭建方式Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。1.单机模式:Zookeeper只运行在一台服务器上,适合测试环境;2.伪集群模式:就是在一台物理机上运行多个Zookeeper 实例。3.集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble...转载 2018-07-29 15:41:14 · 371 阅读 · 0 评论 -
Zookeeper.NET Client (一)【自己编写客户端 连接实例】
首先zookeeper 压缩包 解压 并配置好!我本机zookeeper环境配置如下:D:\Worksoftware\ApacheZookeeper3\conf\zoo.cfg我已经加了path环境变量,没加的话需要到zookeeper对应bin目录下执行zkServer然后执行cmd命令:启动成功后,我们开始C#编程:首先项原创 2016-07-26 22:19:15 · 7576 阅读 · 0 评论