kafka中partition和消费者对应关系

最新推荐文章于 2022-12-05 18:19:37 发布

Kim_Weir

最新推荐文章于 2022-12-05 18:19:37 发布

阅读量502

点赞数

分类专栏： Kafka 文章标签： Kafka

本文链接：https://blog.csdn.net/Kim_Weir/article/details/103336941

版权

本文介绍了Kafka中消费者与分区的关系，包括消费者多于分区、消费者少于和等于分区的情况，以及多个消费者组的消费行为。当消费者数量多于分区时，多余消费者无法消费；数量相等时，消息在消费者间均分；不同消费者组可能导致消息被多次消费。

摘要由CSDN通过智能技术生成

1个partition只能被同组的一个consumer消费，同组的consumer则起到均衡效果

消费者多于partition

topic： test 只有一个partition
创建一个topic——test，

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

在g2组中启动两个consumer，

1. bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning --consumer.config config/consumer_g2.properties
2. bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning --consumer.config config/consumer_g2.properties

消费者数量为2大于partition数量1，此时partition和消费者进程对应关系如下：

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group g2
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
test 0 9 9 0 consumer-1-4a2a4aa8-32f4-4904-9c16-1c0bdf7128a2 /127.0.0.1 consumer-1
- - - - - consumer-1-fd7b120f-fd21-4e07