kafka无法消费数据

遇到一个问题，使用Python kafka客户端和kafka命令行都无法消费数据，但是在kafka命令行后面添加--partition 0后就可以消费数据。

bin/kafka-console-consumer.sh --topic eems_td_meter --from-beginning     --bootstrap-server 172.18.185.123:9092,172.18.185.124:9092  # 不能消费数据
bin/kafka-console-consumer.sh --topic eems_td_meter --from-beginning     --bootstrap-server 172.18.185.123:9092,172.18.185.124:9092 --partition 0  # 添加partiton参数后可以消费数据

原因在与offsets.topic.replication.factor的值在配置文件中大于了节点个数（两个节点，却将这个值设置为了３），

设定更大的复制因子可以确保更高的可用性。但是如果复制因子大于集群节点数，内部主题自动创建将会失败,直到集群大小符合这个复制因子的要求 (范围: 1 - 100)。

在修改

offsets.topic.replication.factor=1

之后，不用再指定分区信息就可以消费数据。

 

 

ref: https://stackoverflow.com/questions/34844209/consumer-not-receiving-messages-kafka-console-new-consumer-api-kafka-0-9

转载于:https://www.cnblogs.com/buxizhizhoum/p/9599615.html