【kafka原理】消费者提交已消费的偏移量(1)

props.put(“group.id”, “szz-local-consumer”);

props.put(“enable.auto.commit”, “true”);

props.put(“auto.commit.interval.ms”, “5000”);

props.put(“key.deserializer”, “org.apache.kafka.common.serialization.StringDeserializer”);

props.put(“value.deserializer”, “org.apache.kafka.common.serialization.StringDeserializer”);

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

consumer.subscribe(Arrays.asList(“szz1-test-topic”));

while (true) {

Duration duration = Duration.ofSeconds(5);

ConsumerRecords<String, String> records = consumer.poll(duration);

for (ConsumerRecord<String, String> record : records){

System.out.printf(“------offset-- = %d, key = %s, value = %s%n”, record.offset(), record.key(), record.value());

}

}

}

假如Consumer在获取了消息消费成功但是在提交之前服务挂掉了

如果发生这种情况会有什么影响？ 答: 重复消费

消费者消费之后 offset并没有及时更新过去,那么在下次启动或者同组内其他消费者去消费的时候 取到的数据就是之前的数据;

那么就会出现 重复消费的情况;

所以auto.commit.interval.ms到底设置成多少就很有考究了

手动提交

---

虽然自动提交 offset 十分简介便利，但由于其是基于时间提交的，开发人员难以把握 offset 提交的时机。因此 Kafka 还提供了手动提交 offset 的 API。

手动提交 offset 的方法有两种:分别是 commitSync(同步提交)和 commitAsync(异步 提交)。两者的相同点是，都会将本次poll 的一批数据最高的偏移量提交;不同点是， commitSync 阻塞当前线程，一直到提交成功，并且会自动失败重试(由不可控因素导致， 也会出现提交失败);而commitAsync则没有失败重试机制，故有可能提交失败。

同步提交 of