kafka虞兮叹一(消费幂等性，不丢失不重复)

一、如何保证kafka消费数据不丢失？

kafka通过先消费消息，后更新offset，来保证消息不丢失，但是会重复。

 

二、如何保证kafka消费数据不重复？（如何保证消息消费时的幂等性）

一、背景：

Kafka 实际上有个 offset 的概念，就是每个消息写进去，都有一个 offset，代表消息的序号，然后 consumer 消费了数据之后，每隔一段时间（定时定期），会把自己消费过的消息的 offset 提交一下，表示“我已经消费过了，下次我要是重启啥的，你就让我继续从上次消费到的 offset 来继续消费吧”。

offset扫盲：

• offset在kafka0.9之前保存在zookeeper上，0.9之后保存在kafka一个特殊的topic上
• offset分为自动提交和手动提交（手动提交更加可靠，在一定程度上防止重复消费）