![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
zookeeper
文章平均质量分 77
高可用的分布式协调框架
Cry丶
/*有些梦虽然遥不可及, 但却并不是不可以实现*/<br>
写博客的原因(告戒自己):
1.记录自己的成长, 是非对错10年后回望;
2.我踩过的坑,同仁们就不要再迈了;
3.开源精神 理想主义 利他主义。
展开
-
【Kafka】Kafka设计原理详解
Kafka设计原理详解Kafka核心总控制器Controller在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时,由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时,由控制器负责通知所有broker更新其元数据信息。当使用kafka-topics.sh脚本为某个topic增加分区数量时,同样还是由控制器负责原创 2022-02-14 11:01:32 · 177 阅读 · 0 评论 -
【Kafka】Kafka架构设计之组件详解
Meta(元信息)broker :servertopic:queue组,partition:queue,默认1:1,可以1:多,每个partition对应一个磁盘中的文件为什么要设计topic和partition,1:多的关系?kafka的设计上broker会存在消息积压,最终msg会落地到磁盘文件中持久化,大数据量的情况下要考虑分布式存储,所以要把topic拆成几个partition,存在放在不同的物理机上实现分布式存储指定不同的consumer消费不同的partition,提升消费并行度,不原创 2022-02-14 10:39:51 · 1179 阅读 · 0 评论 -
【Kafka】Kafka核心使用和SpringBoot整合
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。Kafka的使用场景日志收集:一个公司可以用K.原创 2022-02-14 10:31:18 · 1272 阅读 · 4 评论 -
Zookeeper典型使用场景(分布式锁、Leader选举、注册中心)
1.Zookeeper分布式锁分布式锁的要求:独占性zk中的 /path 满足独占性 ,对/path添加一个watch, 一旦失效通知到其他节点Zookeeper 非公平锁/公平锁/共享锁Leader 选举在分布式场景中的应用Spring Cloud Zookeeper注册中心实战Zookeeper 分布式锁加锁原理非公平锁:带来羊群效应如上实现方式在并发问题比较严重的情况下,性能会下降的比较厉害,主要原因是,所有的连接都在对同一个节点进行监听,当服务器检测到删除事件时,要通知所有的连原创 2021-10-28 11:34:25 · 254 阅读 · 0 评论 -
curator-api及zookeeper-java-api的使用总结
本文大纲1.Zookeeper Java客户端2.Apache Curator 开源客户端3.Zookeeper集群1.Zookeeper Java 客户端项目构建zookeeper 官方的客户端没有和服务端代码分离,他们为同一个jar 文件,所以我们直接引入zookeeper的maven即可, 这里版本请保持与服务端版本一致,不然会有很多兼容性的问题<dependency> <groupId>org.apache.zookeeper</groupId&g原创 2021-10-28 11:22:01 · 573 阅读 · 0 评论 -
curator常见使用参考
https://www.cnblogs.com/erbing/p/9799098.html原创 2021-10-19 23:49:13 · 93 阅读 · 0 评论 -
【已解决】curator 5.0.0连接zk集群,报异常:Invalid config event received
一个curator框架的bug,已在curator 5.2.0版本里修复该问题https://issues.apache.org/jira/browse/CURATOR-526原创 2021-10-17 23:57:59 · 3725 阅读 · 0 评论 -
学妹问我zookeeper的特性?
https://note.youdao.com/s/XbxaU9pF1. 什么是Zookeeper2. Zookeeper核心概念3. Zookeeper实操4. Zookeeper ACLs权限控制5. ZooKeeper 内存数据和持久化在了解Zookeeper之前,需要对分布式相关知识有一定了解,什么是分布式系统呢?通常情况下,单个物理节点很容易达到性能,计算或者容量的瓶颈,所以这个时候就需要多个物理节点来共同完成某项任务,一个分布式系统的本质是分布在不同网络或计算机上的程序组件,彼此通原创 2021-10-14 11:28:10 · 87 阅读 · 0 评论 -
ZooKeeper领导者选举和追随者同步原理
目录1. ZooKeeper读写1.1 ZooKeeper集群架构图1.2 读操作1.3 写操作2. ZooKeeper的leader选举机制2.1 **架构问题**2.2 全新集群leader选举2.3 非全新集群leader选举3. ZAB算法3.1 仲裁quorum3.2 网络分区、脑裂3.3 ZAB算法3.4 ZooKeeper服务器个数4. ZooKeeper工作原理4.1写操作流程图4.2 ZooKeeper状态同步5. Zookeeper实现分布式锁6.拓展1. ZooKeeper读写1原创 2021-05-02 17:31:06 · 416 阅读 · 1 评论 -
ZooKeeper分布式协调框架的使用
1. 什么是ZooKeeper?是Google的Chubby的一个开源实现版ZooKeeper一个主从架构的分布式框架、开源的对其他的分布式框架的提供协调服务(service)Zookeeper 作为一个分布式的服务框架它提供类似于linux文件系统(有目录节点树)的简版文件系统来存储数据Zookeeper 维护和监控存储的数据的状态变化,通过监控这些数据状态的变化,从而达到基于数据的集群管理主要用来解决分布式集群中应用系统的一致性问题2. 为什么要用ZooKeeper原创 2021-05-02 17:20:01 · 189 阅读 · 0 评论 -
【Zookeeper】zookeeper安装部署
1.1 下载zookeeper的压缩包下载网址我们在这个网址下载我们使用的zk版本为apache-zookeeper-3.6.2下载完成之后,上传到我们的node01的/kkb/soft路径下准备进行安装1.2 解压node01执行以下命令解压zookeeper的压缩包到node01服务器的/kkb/install路径下去,然后准备进行安装cd /kkb/softtar -zxvf apache-zookeeper-3.6.2-bin.tar.gz -C /kkb/in原创 2021-05-01 16:33:08 · 100 阅读 · 0 评论