某个broker节点未启动造成无法选举leader

最新推荐文章于 2021-12-24 09:40:31 发布
最新推荐文章于 2021-12-24 09:40:31 发布
阅读量1k 收藏 2
点赞数
分类专栏： kafka 文章标签： kafka kafka选举
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012326462/article/details/121441888
版权

问题描述：topic都是多分区，多副本，broker节点关闭后，由于某些情况，某个节点无法启动，其他节点都启动后，topic或部分分区仍不可用，造成无法选举leader

1. 创建topic

topic：topic-demo02 3分区，3副本

[xuhaixing@xhx151 cluster]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --create --topic topic-demo02 --replication-factor 3 --partitions 3
Created topic topic-demo02.
[xuhaixing@xhx151 cluster]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --describe --topic topic-demo02
Topic: topic-demo02	PartitionCount: 3	ReplicationFactor: 3	Configs: 
	Topic: topic-demo02	Partition: 0	Leader: 2	Replicas: 2,3,1	Isr: 2,3,1
	Topic: topic-demo02	Partition: 1	Leader: 3	Replicas: 3,1,2	Isr: 3,1,2
	Topic: topic-demo02	Partition: 2	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3

2. 停掉三个broker

[xuhaixing@xhx151 cluster]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --describe --topic topic-demo02
Topic: topic-demo02	PartitionCount: 3	ReplicationFactor: 3	Configs: 
	Topic: topic-demo02	Partition: 0	Leader: 1	Replicas: 2,3,1	Isr: 1
	Topic: topic-demo02	Partition: 1	Leader: 1	Replicas: 3,1,2	Isr: 1
	Topic: topic-demo02	Partition: 2	Leader: 1	Replicas: 1,2,3	Isr: 1

此时Leader与ISR集合并不是空，而是1。因为zookeeper中存储的信息是kafka节点维护的，随着最后一个kafka节点的宕机，没有kafka节点更新zookeeper中的信息，故保持不变。

3. 启动broker.id 为2，3的节点

[xuhaixing@xhx151 cluster]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --describe --topic topic-demo02
Topic: topic-demo02	PartitionCount: 3	ReplicationFactor: 3	Configs: unclean.leader.election.enable=false
	Topic: topic-demo02	Partition: 0	Leader: none	Replicas: 2,3,1	Isr: 1
	Topic: topic-demo02	Partition: 1	Leader: none	Replicas: 3,1,2	Isr: 1
	Topic: topic-demo02	Partition: 2	Leader: none	Replicas: 1,2,3	Isr: 1

此时Leader为null，Isr依旧为未启动的broker节点，三个节点，恢复两个节点，此topic目前还是不可用状态。

部分分区不可用复现

1.创建如下topic

[xuhaixing@xhx151 cluster]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --describe --topic topic-demo03
Topic: topic-demo03	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: topic-demo03	Partition: 0	Leader: 3	Replicas: 3,1	Isr: 3,1
	Topic: topic-demo03	Partition: 1	Leader: 1	Replicas: 1,2	Isr: 1,2
	Topic: topic-demo03	Partition: 2	Leader: 2	Replicas: 2,3	Isr: 2,3

2.停掉3个broker节点

3.启动broker.id=2的节点

[xuhaixing@xhx151 bin]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --describe --topic topic-demo03
Topic: topic-demo03	PartitionCount: 3	ReplicationFactor: 2	Configs: 
Topic: topic-demo03	Partition: 0	Leader: none	Replicas: 3,1	Isr: 3
Topic: topic-demo03	Partition: 1	Leader: 2	Replicas: 1,2	Isr: 2
Topic: topic-demo03	Partition: 2	Leader: 2	Replicas: 2,3	Isr: 2

此时分区0，Leader变成了none， Isr变成了3

4.启动broker.id=1的节点

再次查看状态

[xuhaixing@xhx151 bin]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --describe --topic topic-demo03
Topic: topic-demo03	PartitionCount: 3	ReplicationFactor: 2	Configs: 
Topic: topic-demo03	Partition: 0	Leader: none	Replicas: 3,1	Isr: 3
Topic: topic-demo03	Partition: 1	Leader: 1	Replicas: 1,2	Isr: 2,1
Topic: topic-demo03	Partition: 2	Leader: 2	Replicas: 2,3	Isr: 2

分区0依旧不可用

原因分析

这跟broker端的一个配置项有关 unclean.leader.election.enable，该参数决定是否从非ISR集合中选举leader。因怕非ISR节点集合数据延迟较大丢数据，所以默认为false。

因此，若kafka broker全部停机后，某topic的leader节点未启动，该topic依旧不可用

官方文档解释：

unclean.leader.election.enable
Indicates whether to enable replicas not in the ISR set to be elected as leader as a last resort, even though doing so may result in data loss.

Type: boolean
Default: false
Valid Values:
Server Default Property: unclean.leader.election.enable
Importance: medium

解决方案

1.修改所有broker配置文件：unclean.leader.election.enable=true，重启

2.动态修改broker配置，不用重启

[xuhaixing@xhx151 cluster]$ kafka-configs.sh --bootstrap-server 192.168.94.151:9094 --entity-type brokers --entity-name 2 --add-config unclean.leader.election.enable=true  --alter
Completed updating config for broker 2.

可以再用--delete-config删除配置

[xuhaixing@xhx151 cluster]$ kafka-configs.sh --bootstrap-server 192.168.94.151:9094 --entity-type brokers --entity-name 2 --delete-config unclean.leader.election.enable  --alter
Completed updating config for broker 2.

3.修改topic配置参数

[xuhaixing@xhx151 cluster]$ kafka-configs.sh --bootstrap-server 192.168.94.151:9093 --entity-type topics --entity-name topic-demo02  --add-config unclean.leader.election.enable=true  --alter
Completed updating config for topic topic-demo02.

选举成功

[xuhaixing@xhx151 bin]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafkaCluster --describe --topic topic-demo02
Topic: topic-demo02	PartitionCount: 3	ReplicationFactor: 3	Configs: unclean.leader.election.enable=true
Topic: topic-demo02	Partition: 0	Leader: 1	Replicas: 2,3,1	Isr: 1
Topic: topic-demo02	Partition: 1	Leader: 1	Replicas: 3,1,2	Isr: 1
Topic: topic-demo02	Partition: 2	Leader: 1	Replicas: 1,2,3	Isr: 1

再删除配置

[xuhaixing@xhx151 cluster]$ kafka-configs.sh --bootstrap-server 192.168.94.151:9093 --entity-type topics --entity-name topic-demo02  --delete-config unclean.leader.election.enable  --alter
Completed updating config for topic topic-demo02.

更多优质内容，请关注公众号：程序员星星
在这里插入图片描述

一笑而过者也
关注
专栏目录
kafka broker的controller选举和partition的leader选举
科学的N次方
06-20 696
kafka集群的若干个broker里面，会选择一个controller（类似于master或者namenode） broker的controller选举 controller的选举通过zookeeper来完成。 在kafka集群启动的时候，每个boker都会尝试去zookeeper上注册成为controller（ZK临时节点） 但只有一个竞争成功，其他的broker会注册该节点的监视器 一旦zookeeper上该临时节点状态发生变化，就可以进行相应的处理 controller也是高可用的，一旦某个broke
Kafka 设计之副本和 Leader 选举
最新发布
流华追梦的专栏
03-10 1433
在 Kafka 中，副本分成两类：领导者副本（Leader Replica）和追随者副本（Follower Replica）。每个分区在创建时都要选举一个副本，称为领导者副本，其余的副本自动称为追随者副本。Kafka 的副本机制比其他分布式系统要更严格一些。在 Kafka 中，追随者副本是不对外提供服务的。这就是说，任何一个追随者副本都不能响应消费者和生产者的读写请求。所有的请求都必须由领导者副本来处理，或者说，所有的读写请求都必须发往领导者副本所在的 Broker，由该 Broker 负责处理。
实战问答：leader切换未发生原因探析
kafka_zsxq的博客
12-24 1242
Q 对一套kafka1.1.1三个topic实施副本重分布，目标为将图中replica副本中第一个选为leader，前提条件，这套环境的auto.leader.rebalance.enable这个参数等于true，以为是会自动优选，但似乎只有leader为1的那个topic发生了leader切换（原本三个topic leader都为3）。 问题1:想了解其余两个topic未发生leader切换原因，根据controller日志，似乎这个配置策略不是kafka认为的优选策略？ 问题2:replica和i
关于kafka集群出现异常，无法选取topics分区领导问题
沉心ss的博客
11-04 1万+
1.基础环境 ubuntu系统 4台物理机 4个kafka节点 3个zookeeper节点 节点全部都在docker容器环境运行 主要是接手的Farbic1.4的kafka共识orderer节点，挖的坑哎 2.问题日志 kafka报错日志 [2021-11-03 02:59:56,910] INFO [ReplicaFetcher replicaId=1, leaderId=4, fetcherId=0] Retrying leaderEpoch request for part
8、kafka
qq_44304788的博客
08-25 290
Kafka
kafka参数解析unclean.leader.election.enable
微信公众号：大数据从业者
11-30 921
本文主要阐述的是Kafka可靠性相关参数中的一个，即unclean.leader.election.enable。 随着Kafka版本的变更，有的参数消失，也有的参数被加入进来，而传承下来的参数一般都不太会修改既定的默认值，而unclean.leader.election.enable参数却是其中的一个反例。 从Kafka 0.11.0.0版本开始unclean.leader.election....
topic的leader显示为none的解决办法
热门推荐
王木头的博客
04-17 2万+
受此博文启发： http://blog.selfup.cn/1698.html 以单副本，3分区示例： kafka在zk中存放路径为 / （路径自行验证） 1、查看kafka的topic详细信息 2、查看zk节点 指定节点内部为空。 查看其它同级节点发现有分区信息： 3、创建分区信息 进入zookeeper-client： 首先查看节点/controller_epo...
kafka的Leader选举机制
pengweismile的专栏
06-20 4794
Kafka设计原理详解 Kafka核心总控制器Controller kafka的所有Broker都会注册到kafka集群中去。kafka集群会选举一个Broker作为Leader作为kafka七群的总控制器Controller。他负责管理整个集群所有分区Partition和副本follower的状态。 当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。 当检测到某个分区的ISR集合发生变化时，由控制器负责通知所有broker更新其元数据信息。 当使用kafka-top
Kakfa Broker Leader的选举机制讲解
weixin_46122692的博客
10-24 1868
Kakfa Broker Leader的选举 Kakfa Broker集群受Zookeeper管理。 所有的Kafka Broker节点一起去Zookeeper上注册一个临时节点，因为只有一个Kafka Broker会注册成功，其他的都会失败，所以这个成功在Zookeeper上注册临时节点的这个Kafka Broker会成为Kafka Broker Controller，其他的Kafka broker叫Kafka Broker follower。（这个过程叫Controller在ZooKeeper注册Wa
kafka与zk的leader选举的混沌不清
jerryJavaCoding的博客
09-18 517
在kafka中，同个topic下的partition分布在多个broker中，topic下的partitions使用zookeeper进行分布式协调，可以说kafka与zk是牢牢联系在一起的。但其中，都存在leader选举、主从复制、同步有效个数（zk是超过一半，kafka则是在isr列表中个数），在学习的初始造成一些混淆与困惑。 认清zookeeper的leader选举的内与外 内 一般书籍或者...
日常问题定位——kafka topic leader none ISR为空
njuptcyd的博客
06-08 7867
问题描述     某据点演示环境，用代码自动创建topic及kafka-console-consumer.sh手动创建topic，用kafka-topic.sh查看topic详细信息时，leader列显示为none，且SIR列显示为空。如图所示： 解决过程 1、首先想到的是zookeeper /controller目录下是否有值，controller在选举partition leader有重要作...
Kafka参数图鉴——unclean.leader.election.enable
朱小厮的博客
06-24 1万+
Kafka参数图鉴——unclean.leader.election.enable 如何提高Kafka可靠性是一个可以长篇大论的主题。很多初学者会简单的认为将客户端参数acks设置为-1即可保证Kafka的可靠性，显然这是很片面的观点。就可靠性本身而言，它并不是一个可以用“是”或者“否”来衡量的一个指标，而一般是用几个9来衡量。就参数方面而言，与Kafka可靠性相关的参数不止acks这一个，比如...
was supplied but isn‘t a known config
鸭梨的博客
01-03 1万+
代码如下 val df: DataFrame = spark.readStream .format("kafka") .option("kafka.bootstrap.servers", "mypc01:9092,mypc02:9092,mypc03:9092") .option("subscribe", "cat") // 从头消费 .option("staringOffsets", "earliest") // 设置消费者组
Kafka 优化参数 unclean.leader.election.enable
jast
04-05 2617
Kafka 某个节点挂掉，导致整个服务异常，为了保证服务容灾，可对下面几个参数进行调整 unclean.leader.election.enable=true min.insync.replicas=1 offsets.topic.replication.factor=3 这三个配置什么意思呢? 依次来看一下： unclean.leader.election.enable ...
kafka：leader选举（broker /分区）
不花的花和尚的博客
10-15 5576
broker的leader： Kafka集群Leader选举原理 我们知道Zookeeper集群中也有选举机制，是通过Paxos算法，通过不同节点向其他节点发送信息来投票选举出leader，但是Kafka的leader的选举就没有这么复杂了。  Kafka的Leader选举是通过在zookeeper上创建/controller临时节点来实现leader选举，并在该节点中写入当前broker的信...
apache Kafka中partition的leader为-1情况分析
李志涛的专栏
04-30 1万+
1.broker shutdown的时候，partition的leader在此broker上，controller选主没有成功，移除此broker后，对应的partition的leader就被赋值成-1了。 2.给此broker发送stopReplicaRequest 调用controller.removeReplicaFromIsr，从zk读取当前partition的状态，从isr中移除此b
解释下kafka选举leader的过程
05-31
Kafka是一个分布式系统，在Kafka集群中，每个分区（partition）都有多个副本（replica）存储相同的数据。其中，每个分区都有一个Leader副本，负责处理读写请求，而其他副本则充当Follower副本，只负责复制Leader副本的数据。 当Leader副本宕机或出现网络问题时，需要从Follower副本中选举出一个新的Leader副本来继续处理读写请求。Kafka选举Leader的过程如下： 1. 当某个Broker节点发现某个Partition的Leader副本宕机或出现网络问题时，它会将该Partition的ISR（In-Sync Replica，同步副本）列表发送给Zookeeper。 2. Zookeeper会将该Partition的ISR列表保存下来，并将该Partition的状态设置为“不可用”。 3. 每个Follower副本都会向Zookeeper注册自己的状态（包括ISR列表、LEO（Log End Offset，即该副本已经复制完的消息偏移量）等信息）。 4. 当Zookeeper收到所有Follower副本的注册信息后，它会将所有ISR列表中包含的Follower副本的状态取出来，根据LEO的大小排序，选择LEO最大的副本作为新的Leader副本。 5. Zookeeper会将新的Leader副本的Broker ID更新到该Partition的状态中，并将该Partition的状态设置为“可用”。 6. 各个Broker节点会定期从Zookeeper中拉取Partition状态的变化，一旦发现某个Partition的状态从“不可用”变为“可用”，就会重新分配该Partition的Leader副本，并将该Partition的ISR列表更新到所有Follower副本中。 选举出新的Leader副本后，Kafka集群会自动继续处理读写请求，保证了系统的高可用性和数据的一致性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值