topic的leader显示为none的解决办法

受此博文启发:
http://blog.selfup.cn/1698.html

以单副本,3分区示例:
kafka在zk中存放路径为 / (路径自行验证)

1、查看kafka的topic详细信息
这里写图片描述
2、查看zk节点
这里写图片描述
指定节点内部为空。
查看其它同级节点发现有分区信息:
这里写图片描述
3、创建分区信息
进入zookeeper-client:
首先查看节点/controller_epoch的值:
get /controller_epoch
得到值1
create /brokers/topics/testDelete3/partitions null根据第一步中的分区情况,共有0,1,2三个分区,分别创建这三个节点create /brokers/topics/testDelete3/partitions/0 nullcreate /brokers/topics/testDelete3/partitions/1 nullcreate /brokers/topics/testDelete3/partitions/2 null create /brokers/topics/testDelete3/partitions/0/state {“controller_epoch”:1,”leader”:1003,”version”:1,”leader_epoch”:2,”isr”:[1003]}

create /brokers/topics/testDelete3/partitions/1/state {“controller_epoch”:1,”leader”:1001,”version”:1,”leader_epoch”:3,”isr”:[1001]}create /brokers/topics/testDelete3/partitions/2/state {“controller_epoch”:1,”leader”:1002,”version”:1,”leader_epoch”:4,”isr”:[1002]}

注意:

这里的”controller_epoch”:1值填入的是“get /controller_epoch”得到的值。

leader的值与第一步中topic信息内的replicas相关,本例中相同,若为多副本,指定replicas其中一个为leader即可

version默认为1即可

leader_epoch” 的值不能相同

isl指的是有效选择列表,默认与replicas值相同

4、查看leader
这里写图片描述
5、生产消费检验
生产数据./kafka-console-producer.sh –broker-list dev-kafka01:6667,dev-kafka02:6667,dev-kafka03:6667 –topic testDelete3

消费数据:/usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh –zookeeper dev-zookeeper01:2181 –topic testDelete3
生产可以正常生产,并且在消费端可以正常消费即可。

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka是一个分布式流处理平台,topicKafka中消息发布与订阅的基本单位,而分区则是topic的基本组成部分。在Kafka集群中,每个分区都有一个leader和若干个follower副本。当Kafka topic的分区leader不均衡时,可以出现以下情况: 1. 负载不均衡:某些分区的leader负载较大,而其他分区却负载较轻。这可能是由于消息生成者在特定分区中产生了大量消息,导致该分区的leader成为了热点。 2. 副本没有同步:分区的follower副本与leader之间的同步没有及时完成。这可能是由于网络延迟、节点故障或者硬件故障导致的。 3. 重新分配问题:当Kafka集群发生节点故障或者增加节点时,可能会触发分区的重新分配。如果重新分配不均衡或者配置不正确,就会导致分区leader的不均衡。 针对上述问题,可以采取以下措施来处理: 1. 监控集群:使用Kafka监控工具,实时监控分区leader的状态和负载情况。及时发现负载较大的分区,并考虑调整分区的分配策略,将负载均匀分散到不同的节点上。 2. 调整分区副本:通过增加或者减少分区的follower副本,来增强或者减轻特定分区leader的负载。可以使用工具进行手动分区副本重新分配,或者通过Kafka的自动分区分配策略来改善不均衡的情况。 3. 确保集群的健康:确保集群的网络、硬件和节点状态都处于良好的状态,及时处理故障节点,避免不必要的leader重新选举和副本同步延迟。 综上所述,解决Kafka topic分区leader不均衡的问题需要综合考虑负载均衡、分区副本调整和集群健康等因素。通过监控集群状态、合理配置分区副本和及时处理故障节点,可以有效地解决分区leader不均衡的问题,提高Kafka集群的性能和可靠性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值