Kafka保证数据不重复不丢失

Kafka保证数据不重复不丢失

查看了很多的博客在这里简单总结一下，Kafaf数据缺失和重复主要考虑与生产者和消费者连个方面：

情况	解决
消费者重复消费	创建去重表
消费者丢失数据	关闭自动提交offset，处理完之后受到移位
生产者重复发送	由消费者建去重表解决
生产者丢失数据	分两种模式来解决，同步模式和异步模式

同步模式：配置=1（只有Leader收到，-1所有副本成功，0不等待）。leader partition挂了，数据就会丢失

• 设置为-1保证produce写入所有副本算成功
• producer.type=sync
• request.required.acks=-1

异步模式：当缓冲区满了，如果配置为0（没有收到确认，一满就丢弃），数据立刻丢弃

• 不限制阻塞超时时间。就是一满生产者就阻塞
• producer.type=async
• request.required.acks=1
• queue.buffering.max.ms=5000
• queue.buffering.max.messages=10000
• queue.enqueue.timeout.ms = -1
• batch.num.messages=200

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：