Kafka遇到无法消费的问题记录

Kafka服务部署情况

节点	服务
master	kafka
slave1	kafka
slave2	kafka
slave3	kafka
slave4	kafka

无法消费情况

可以生产但无法消费

尝试在kafka的shell中自产自消

生产者

./kafka-console-producer.sh --broker-list ip:9092 --topic ymh

消费者

./kafka-console-consumer.sh --bootstrap-server ip:9092 --from-beginning --topic topicname

发现上述例子无法消费(生产不报错)

./kafka-topics.sh --list --zookeeper ip:2181

尝试指定partition进行消费

./kafka-console-consumer.sh --bootstrap-server ip:9092 --from-beginning --topic topicname --partition 0 （你有几个分区就尝试几次,只要有一个能消费出来就可以）

如果上述从某个分区消费出数据了证明kafka的偏移量存在问题,导致没有去分区内消费
查看topic列表

./kafka-topics.sh --list --zookeeper ip:2181

发现有一个名为__consumer_offsets的topic
把这个topic删除即可

./kafka-topics.sh --delete --zookeeper ip:2181 --topic topicname

注意如果发现是被标记为删除需要手动去zookeeper的管理端手动删除

./zkCli.sh -server ip:2181
rmr /brokers/topics/__consumer_offsets