Kafka 消息丢失和重复问题

要确定 Kafka 的消息是否丢失或重复，从两个方面分析入手：消息发送和消息消费。

1. 消息发送
   Kafka 消息发送有两种方式：同步和异步，默认是同步方式，可通过 producer.type 属性进行配置。Kafka 通过配置 request.required.acks 属性来确认消息的生产：
   0——表示不进行消息接收是否成功的确认；
   1——表示当 Leader 接收成功时确认；
   -1——表示 Leader 和 Follower 都接收成功时确认；
   综上所述，有6种消息生产的情况，下面分情况来分析消息丢失的场景：
   （1）acks=0，不和 Kafka 集群进行消息接收确认，则当网络异常、缓冲区满了等情况，消息可能丢失；
   （2）acks=1、同步模式下，只有 Leader 确认接收成功后但挂掉了，副本没有同步，数据可能丢失；
2. 消息消费
   Kafka 消息消费有两个 consumer 接口，Low-level API 和 High-level API：
   Low-level API：消费者自己维护 offset 等值，可以实现对 Kafka 的完全控制；
   High-level API：封装了对 partition 和 offset 的管理，使用简单；
   如果使用高级接口 High-level API，可能存在一个问题就是当消息消费者从集群中把消息取出来、并提交了新的消息 offset 值后，还没来得及消费就挂掉了，那么下次再消费时，之前没消费成功的消息就丢失了。
3. 解决办法
   （1）针对消息丢失：同步模式下，确认机制设置为 -1，即让消息写入 Leader 和 Follower 之后再确认消息发送成功；异步模式下，为防止缓冲区满，可以在配置文件设置不限制阻塞超时时间，当缓冲区满时让生产者一直处于阻塞状态；
   （2）针对消息重复：将消息的唯一标识保存到外部介质中，每次消费时判断是否处理过即可。