Kafka遇到无法消费的问题记录

Kafka服务部署情况

节点服务
masterkafka
slave1kafka
slave2kafka
slave3kafka
slave4kafka

无法消费情况

可以生产但无法消费
尝试在kafka的shell中自产自消

生产者

./kafka-console-producer.sh --broker-list ip:9092 --topic ymh

消费者

./kafka-console-consumer.sh --bootstrap-server ip:9092 --from-beginning --topic topicname

发现上述例子无法消费(生产不报错)

./kafka-topics.sh --list --zookeeper ip:2181

尝试指定partition进行消费

./kafka-console-consumer.sh --bootstrap-server ip:9092 --from-beginning --topic topicname --partition 0 (你有几个分区就尝试几次,只要有一个能消费出来就可以)

如果上述从某个分区消费出数据了证明kafka的偏移量存在问题,导致没有去分区内消费
查看topic列表

./kafka-topics.sh --list --zookeeper ip:2181

发现有一个名为__consumer_offsets的topic
把这个topic删除即可

./kafka-topics.sh --delete --zookeeper ip:2181 --topic topicname

注意如果发现是被标记为删除需要手动去zookeeper的管理端手动删除

./zkCli.sh -server ip:2181
rmr /brokers/topics/__consumer_offsets

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值