Kafka消费者:
1. 默认自动提交offset,可能会造成消息丢失,因为是延迟提交,也有可能会造成消息重复
2. offset保存在_consumer_offsets主题中(zookeeper不适合频繁的写操作),如果新建消费组,或者是新订阅了一个主题,或者是因为主题中关于这个消费组的位移过期删除后,
会根据配置决定从何处拉取消息,默认是latest表示从分区末尾消费消息,配置auto.offset.reset=earliest则表示从消息起始处开始消费
3. 如果配置为none,找不到消费位移,则会报ConfigException异常
4. 可以根据seek方法进行消息回溯。seek只能重置消费者分配到的分区的消费位置,而分区分配是在poll方法的调用过程中实现的,也就是说
执行seek需要先执行一次poll,kafkaConsumer提供了seekToBeginning(),seekToEnd()来从头或者是从尾开始消费,也可以通过offsetsForTimes()查询多久时间之前的offset
5.在均衡是分区的所属权从一个消费者转移到另一个消费者的行为,在均衡发生期间,消费者组内的消费者无法读取消息。在均衡也可能会导致消息的重复消费
6.消费者拦截器的onConsume发生在poll返回之前,onCommit发生在提交offset之后,可以通过消费者拦截器来实现TTL,即过期时间
Kafka学习笔记
于 2023-06-07 10:11:48 首次发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)