Kafka之精确一次处理语义

最新推荐文章于 2024-10-16 17:39:53 发布

jannals

最新推荐文章于 2024-10-16 17:39:53 发布

阅读量1.2k

点赞数 1

分类专栏： # Kafka实战

本文链接：https://blog.csdn.net/usagoole/article/details/103605960

版权

本文介绍了Kafka的三种消息处理语义：最多一次、至少一次和精确一次，并详细讲解了Kafka如何实现producer的幂等性和精确一次处理语义，包括producer发送消息的序列号和producer ID的使用，以及如何防止消息重复写入日志。同时，文章指出Kafka的幂等性设计仅能保证单个producer实例的幂等性。

摘要由CSDN通过智能技术生成

精确一次处理语义

消息处理语义
- 最多一次(at most once):消息可能丢失也可能被处理，但最多只会处理一次
- 至少一次(at least once):消息不会丢失，但可能被处理多次
- 精确一次(exactly once):消息被处理且只会被处理一次
producer：
- 在0.11.0.0之前，kafka producer默认提供至少一次（at least once）语义（重试机制）
- kafka在0.11.0.0开始引入producer精确一次性语义EOS(exactly-once semantics)。即瞬时发送错误导致的producer重试，在broker端这条消息只会被写入日志一次。如果要启用幂等性producer以及获取EOS语义，需要显示设置producer参数enable.idempotence=true
consumer：
- 最多一次(at most once)： consumer首先获取消息，然后提交offset，之后再处理消息。当提交offset后，consumer崩溃，消息可能永远不会被处理，即消息丢失
- 至少一次(at least once)：consumer先获取消息，然后处理消息，最后提交offset。当消息处理完，consumer崩溃，此时可能会重复处理

案例


@Test
public void testIdempotence() {
     
    Properties props = new Properties();
    props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-master:9092,kafka-slave1:9093,kafka-slave2:9094");
    props.