Kafka 入门到起飞系列 - 怎么从ISR中选出的Leader呢？ Leader选举机制

于 2023-07-27 18:59:04 发布
阅读量264 收藏
点赞数
分类专栏： kafka 文章标签： kafka ISR Leader选举
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FightingITPanda/article/details/131966228
版权

上文我们讲了分区分成Leader 和 Follower两种角色，当Leader宕机后，会从ISR同步副本中选出一个分区作为leader分区继续工作，那么leader是怎么选出来的呢？

怎么从ISR中选出的Leader呢？ Leader选举机制

比如有这么个分布情况，如下图

  • 分区P1 有3个副本，1 leader+2 follower，ISR是 0、1 ，OSR是2
  • 分区P2 有3个副本，1 leader+2 follower，ISR是 1、2，OSR是0
  • 分区P3 有3个副本，1 leader+2 follower，ISR是 0、1、2，OSR是空

在这里插入图片描述

场景：

运行过程中P1 的Leader宕机了，那么直接从ISR中选出P1的Follower成为新的leader，如下图：
在这里插入图片描述
我们可以看到Kakfa通过维护ISR动态列表来保证副本选举，只要leader挂掉了，就从ISR中随机选举一台作为leader，ISR利用率更高，只要ISR列表还有一个副本存活就可以继续提供服务

那如果ISR 全都挂掉了怎么办呢？OSR能不能用呢，也能，就是会造成数据丢失
可以通过参数unclean .leader.election.enable=true
即当ISR都不可用了可以从OSR中选举leader

FightingITPanda
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
kafka(三)：选举机制
不积硅步，无以至千里
04-10 7305
Leader选举 利用zk选举 zk的三个特性： watch机制 节点不允许重复写入 使用临时节点   在开始时所有的副本都去zk创建一个临时节点，先创建成功的副本就成为leader，后面的副本都watch这个临时节点，leader挂掉后就会触发watch事件，所有的副本开始重新选举一个leader。这样的实现比较简单，但是会存在一定的弊端。如果分区和副本数量过多，所有的副本都直接进行选举的话，一旦出现节点的增减，就会触发大量的watch事件，zk的负载就会过重。   kafka早期的版本就是使用zk选
KafKa - 分区副本ISR选举机制
小毕超博客
05-29 2322
一、KafKa -分区副本ISR选举机制 kafka 中每一个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的，每个分区配置有多若干个副本。 所谓的副本，本质上就是一个只能追加写消息的提交日志，根据kafka副本机制的定义，同一个分区下的所有副本保存着相同的消息序列，这些副本分散的保存在不同的Broker上，从而能够对抗部分Broker宕机带来的数据不可用。 如下图，在3节点的 kafka 集群中，对 topic：主题1 分了三个分区三个副本。 在 kafka 分区中的副本机制中，又
Kafka HA Kafka一致性重要机制之ISR(kafka replica)
MannerXu的博客
07-27 1213
一、kafka replica 当某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。 Replica的个数小于等于Broker的个数，也就是说，对于每个Partition而言，每个Broker上最多只会有一个Replica，因此可以使用Brok...
消息队列实现原理（以kafka为例）
罗布泊coding
09-21 3964
一. 概述： 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。使用较多的消息队列有Kafka、ActiveMQ、RabbitMQ、ZeroMQ、MetaMQ、RocketMQ。 消息队列在实际应用中常用的使用场景：异步处理，应用解耦，流量削锋和消息通讯四个场景。 1、异步处理：用户注册后，需要发注册邮件和注册短信。 2、应用解耦：用户下单后，订单系统需要通知库存系统。 3、流量削锋：秒杀活动，一般会因为流量过大，导致流量暴增，应
kafka终极版
heqiang1995的博客
12-07 4692
kafkatool和启动都可以看生产和消费者的配置信息 同一个partition内的消息只能被同一个组中的一个consumer消费！！！！ 当消费者数量多于partition的数量时，多余的消费者空闲 ！！例如partition=4，则可在同一组中被最多4个consumer均衡消费。 一种是 RangeAssignor 分配策略(范围分区)，另一种是 RoundRobinAssignor分配策略(轮询分区)。默认采用 Range 范围分区。 自定义分区策略 不同的消费组之间的消费者互不影响，但是同一个消费组
kafka-schema-registry-client-6.2.2.jar
04-25
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages....
Kafka从入门到源码分析原理课-视频教程网盘链接提取码下载 .txt
最新发布
08-06
Kafka从入门到源码分析原理课是一门针对Kafka最新版本技术的课程，从入门到掌握Kafka的技术细节，让学员更加深入地理解Kafka的原理和运行机制。课程分为理论和实践两部分，理论部分介绍Kafka架构、技术原理以及Kafka...
kafka-clients-2.4.1-API文档-中文版.zip
06-06
赠送jar包：kafka-clients-2.4.1.jar； 赠送原API文档：kafka-clients-2.4.1-javadoc.jar； 赠送源代码：kafka-clients-2.4.1-sources.jar； 赠送Maven依赖信息文件：kafka-clients-2.4.1.pom； 包含翻译后的API文档...
kafka-eagle-bin-2.1.0.tar.gz
07-05
kafka-eagle-bin-2.1.0.tar.gz 2022年7月份下载，最新版
kafka-schema-registry-client-3.2.0.jar
12-11
kafka-schema-registry-client-3.2.0.jar包，亲测可用，在aliyun仓库内找不到，可以下载此jar包来进行手动安装
关于kafka的isr机制
流的博客
01-10 9680
1. 问题 Data Replication Kafka 的 Data Replication 需要解决如下问题： 怎样 Propagate 消息 在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息 怎样处理某个 Replica 不工作的情况 怎样处理 Failed Replica 恢复回来的情况 2. Propagate 消息 通过zookeeper先知...
Kafka--Leader选举过程的理解
weixin_36236374的博客
05-06 383
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
kafka集群是如何选择leader，你知道吗？
weixin_71690375的博客
05-30 421
kafka集群是由多个broker节点组成，这里面包含了许多的知识点，以下的这些问题你都知道吗?你知道topic的分区leader是怎么选举的吗？你知道zookeeper中存储了kafka的什么信息吗？起到什么做呢？你知道kafka消息文件是怎么存储的吗？如果kafka中leader节点或者follower节点发生故障，消息会丢失吗？如何保证消息的一致性和可靠性呢？如果你对这些问题比较模糊的话，那么很有必要看看本文，去了解以下kafka的核心设计，本文主要基于kafka3.x版本讲解。
《大数据： Kafka 生产者数据可靠性保证》
yexiangCSDN的专栏
11-30 307
一、数据可靠性保证 为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition（leader和副本）收到producer发送的数据后，都需要向producer发送ack（acknowledgement确认收到），如果producer收到ack，就会进行下一轮的发送，否则重新发送数据 1.副本数据同步策略 方案 优点 缺点 半数以上完成同步，就发送ack 延迟..
7年工作经验面试被问：谈谈你对Kafka副本Leader选举原理的理解？
Tom弹架构
08-13 273
大厂经典面试题解析。
kafka中leader挂掉后重新选举leader过程简介
qq_24699905的博客
01-03 6043
新leader的选举是由controller来执行。 当旧leader挂掉后，controller在zk中的监视器将消息发送给controller，controller开始执行新leader的选举工作。 1.首先确认挂掉的节点上有哪些分区，然后到相应的路径中获得分区所对应的已经同步的副本分区（ISR）,然后从中选择一个存活的副本分区升级为leader。这样的优点是新leader的数据和挂掉的分区数...
kafka3.x入门教程（四）
qq_21277357的博客
01-14 1276
阿诗丹顿。
Kakfa Broker Leader的选举机制讲解
weixin_46122692的博客
10-24 1854
Kakfa Broker Leader的选举 Kakfa Broker集群受Zookeeper管理。 所有的Kafka Broker节点一起去Zookeeper上注册一个临时节点，因为只有一个Kafka Broker会注册成功，其他的都会失败，所以这个成功在Zookeeper上注册临时节点的这个Kafka Broker会成为Kafka Broker Controller，其他的Kafka broker叫Kafka Broker follower。（这个过程叫Controller在ZooKeeper注册Wa
Kafka中涉及的四种选举
·
07-27 2904
Kafka中涉及到选主的地方比较多，所以也比较复杂，这里做一下总结。 Kafka中的选举大致可以分为三大类：控制器的选举、分区leader的选举以及消费者相关的选举 controller选举 集群控制器组件（BrokerController）： 它是 Kafka 的核心组件。它的主要作用是在 ZooKeeper 的帮助下管理和协调整个 Kafka 集群，集群中的每个 broker 都可以称为 controller，但是在 Kafka 集群启动后，只有一个 broker 会成为 Controller 。 Co
kafka leader选举机制
06-09
Kafka的leader选举机制是通过Zookeeper来实现的。每个Kafka broker在启动时会在Zookeeper上注册一个临时节点，称为“/brokers/ids/[brokerId]”。当一个partition的leader节点宕机时，Zookeeper会检测到该节点的失效并将其删除。此时，所有订阅该partition的consumer会同时发现该partition的leader节点失效，它们会将其连接的broker列表中失效节点所在的broker剔除，并重新连接到其他broker。同时，剩余的broker会开始竞选新的leader。具体来说，每个broker会向Zookeeper的“/brokers/topics/[topic]/[partition]/state”节点写入一个包含自身id的json字符串，表示自己想要成为该partition的leader。当Zookeeper收到所有参选broker的请求后，会将这些请求按照broker id的大小排序，并将第一个请求中包含的broker id对应的broker成为新的leader。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值