topic的leader显示为none的解决办法

原创 2018年04月17日 16:52:18

受此博文启发:
http://blog.selfup.cn/1698.html

以单副本,3分区示例:
kafka在zk中存放路径为 / (路径自行验证)

1、查看kafka的topic详细信息
这里写图片描述
2、查看zk节点
这里写图片描述
指定节点内部为空。
查看其它同级节点发现有分区信息:
这里写图片描述
3、创建分区信息
进入zookeeper-client:
首先查看节点/controller_epoch的值:
get /controller_epoch
得到值1
create /brokers/topics/testDelete3/partitions null根据第一步中的分区情况,共有0,1,2三个分区,分别创建这三个节点create /brokers/topics/testDelete3/partitions/0 nullcreate /brokers/topics/testDelete3/partitions/1 nullcreate /brokers/topics/testDelete3/partitions/2 null create /brokers/topics/testDelete3/partitions/0/state {“controller_epoch”:1,”leader”:1003,”version”:1,”leader_epoch”:2,”isr”:[1003]}

create /brokers/topics/testDelete3/partitions/1/state {“controller_epoch”:1,”leader”:1001,”version”:1,”leader_epoch”:3,”isr”:[1001]}create /brokers/topics/testDelete3/partitions/2/state {“controller_epoch”:1,”leader”:1002,”version”:1,”leader_epoch”:4,”isr”:[1002]}

注意:

这里的”controller_epoch”:1值填入的是“get /controller_epoch”得到的值。

leader的值与第一步中topic信息内的replicas相关,本例中相同,若为多副本,指定replicas其中一个为leader即可

version默认为1即可

leader_epoch” 的值不能相同

isl指的是有效选择列表,默认与replicas值相同

4、查看leader
这里写图片描述
5、生产消费检验
生产数据./kafka-console-producer.sh –broker-list dev-kafka01:6667,dev-kafka02:6667,dev-kafka03:6667 –topic testDelete3

消费数据:/usr/hdp/current/kafka-broker/bin/kafka-console-consumer.sh –zookeeper dev-zookeeper01:2181 –topic testDelete3
生产可以正常生产,并且在消费端可以正常消费即可。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/love910809/article/details/79977275

Eiffel 引介 Part V

Eiffel IntroductionEiffel 引介 Rensselaer, 2000James C. McKim, Jr, Rensselaer at Hartford K ][ N G of ...
  • kingofark
  • kingofark
  • 2003-03-04 08:56:00
  • 1051

如何在Kafka中对Topic的leader进行均衡

参考 操作背景 在创建一个topic时,kafka尽量将partition均分在所有的brokers上,并且将replicas也j均分在不同的broker上。 每个partitiion的所有re...
  • lizhitao
  • lizhitao
  • 2014-11-24 10:50:44
  • 9511

彻底删除Kafka中的topic

1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录2、Kafka 删除topic的...
  • GKQQQ
  • GKQQQ
  • 2018-02-09 11:18:23
  • 87

Kafka 几个重要的配置总结

注意:配置基于Kafka 0.8.2.1 broker配置 #非负整数,用于唯一标识broker broker.id 0 #kafka持久化数据存储的路径,可以指定多个...
  • huanggang028
  • huanggang028
  • 2015-08-21 10:21:12
  • 36967

apache kafka技术分享系列(目录索引)

apache Kafka中国社区中国社区QQ群1:162272557 未满  收费5¥,保证QQ运营,腾讯QQ VIP收年费,2000人群非常活跃,质量很高中国社区QQ群2:414762562 未满 ...
  • lizhitao
  • lizhitao
  • 2018-02-08 11:30:11
  • 57760

apache Kafka中partition的leader为-1情况分析

1.broker shutdown的时候,partition的leader在此broker上,controller选主没有成功,移除此broker后,对应的partition的leader就被赋值成-...
  • lizhitao
  • lizhitao
  • 2015-04-30 00:49:30
  • 5665

Exception: This server is not the leader for that topic-partition.

异常: 20160817 18:58:48 ERROR com.yaochufa.lac.service.impl.ComparePriceServiceImpl-307...
  • u011671022
  • u011671022
  • 2017-11-13 15:45:04
  • 342

Kafka的Leader的选举机制

Kafka的Leader是什么   首先Kafka会将接收到的消息分区(partition),每个主题(topic)的消息有不同的分区。这样一方面消息的存储就不会受到单一服务器存储空间大小的限制...
  • liuao107329
  • liuao107329
  • 2017-04-17 17:03:31
  • 3664

如何在Kafka上对一个Topic增加replicas

操作步骤如下:操作,是指手动写扩充replicas的配置文件,然后使用工具进行操作1.查看topic的详细信息lizhitao@users-MacBook-Pro-2:~$ ./bin/kafka-t...
  • lizhitao
  • lizhitao
  • 2015-05-21 16:53:17
  • 4155

Kafka_2.10-0.10.0.0- LEADER_NOT_AVAILABLE

Kafka_2.10-0.10.0.0- LEADER_NOT_AVAILABLE
  • yongaini10
  • yongaini10
  • 2016-12-28 15:16:44
  • 6051
收藏助手
不良信息举报
您举报文章:topic的leader显示为none的解决办法
举报原因:
原因补充:

(最多只允许输入30个字)