Kafka消费者从Kafka中读取数据

最新推荐文章于 2024-08-25 20:36:38 发布

K. Bob

最新推荐文章于 2024-08-25 20:36:38 发布

阅读量1.5k

点赞数

分类专栏： Kafka

本文链接：https://blog.csdn.net/ThreeAspects/article/details/106446407

版权

本文介绍了Kafka消费者的工作原理，包括消费组与分区重平衡的概念，消费者创建、订阅主题、拉取循环的操作，以及消费者配置如自动提交和位移提交的策略。还讨论了重平衡监听器在消费者加入或离开消费组时的角色，以及如何通过回调处理位移提交。

摘要由CSDN通过智能技术生成

消费组与分区重平衡

当新的消费者加入消费组，它会消费一个或多个分区，而这些分区之前是由其他消费者负责的；另外，当消费者离开消费组（比如重启、宕机等）时，它所消费的分区会分配给其他分区。这种现象称为重平衡（rebalance）。
消费者通过定期发送心跳（hearbeat）到一个作为组协调者（group coordinator）的broker来保持在消费组内存活。这个broker不是固定的，每个消费组都可能不同。当消费者拉取消息或者提交时，便会发送心跳。如果消费者超过一定时间没有发送心跳，那么它的会话（session）就会过期，组协调者会认为该消费者已经宕机，然后触发重平衡。

创建Kafka消费者

读取Kafka消息只需要创建一个kafkaConsumer，创建过程与KafkaProducer非常相像。需要使用四个基本属性，bootstrap.servers、key.deserializer、value.deserializer和group.id。其中，bootstrap.servers与创建KafkaProducer的含义一样；key.deserializer和value.deserializer是用来做反序列化的，也就是将字节数组转换成对象；group.id不是严格必须的，但通常都会指定，这个参数是消费者的消费组。下面是一个代码样例：

Properties props = new Properties();
props.put("bootstrap.servers", "broker1:9092,broker2:9092");
props.put("group.id", "CountryCounter");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<