Kafka 唯一Leader不可用

1004 broker 挂掉后，

执行以下命令可以查看，不可用分区，如图：

# /usr/hdf/current/kafka-broker/bin/kafka-topics.sh --describe --zookeeper 10.32.40.39:2181   | grep 'Isr: 1004' | grep 'Leader: 1004'

解决办法：

强行修改zk元数据isr  leader，并重新选举。如再不行，滚动重启kafka  broker

进入zk:

# /usr/hdf/current/kafka-broker/bin/zookeeper-shell.sh 10.32.x.x:2181

获取分区zk元数据：以action主题0分区为例：

get /brokers/topics/action/partitions/0/state

重新设置isr为可用节点，leader为可用节点，leader_epoch+1

# set  /brokers/topics/action/partitions/0/state  {"controller_epoch":57,"leader":1001,"version":1,"leader_epoch":98,"isr":[1003,1001]}

重新选举：

编写preferred-leader-plan.json文件，内容如下：

{"partitions":[{"topic":"action","partition": 0}]

执行以下命令：

/usr/hdf/current/kafka-broker/bin/kafka-preferred-replica-election.sh --zookeeper 10.32.x.x:2181 --path-to-json-file preferred-leader-plan.json

检查：

/usr/hdf/current/kafka-broker/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list  10.32.x.x:9092  --topic action --time -1

并查看日志：/var/log/kafka/server.log

如未出现：Error: partition 0 does not have a leader. Skip getting offsets  则 成功，若出现，重启机器。

正常如下：

# /usr/hdf/current/kafka-broker/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 10.32.x.x:9092 --topic action --time -1
action:2:2964861
action:1:2964843
action:3:2948928
action:0:2964749

每个分区offset 正常，如有消费，数值会有增加。