Kafka 消息传递语义 Exactly Once（精准一次） 相关知识

消息传递语义：

消息传递语义一共有三种，至少一次（at least once），至多一次(at most once ) 以及精准一次（exactly once ）
kafka 默认实现了前两种

Kafka中如何配置呢？

如果只用kafka的来实现的话

设置ack=0就是至多一次 ack=1是至少一次 默认是ack=1 ack=1就是leader副本响应ack就行 ，
而ack=-1/all 是指所有副本都需要确认收到才继续下一次生产数据。而ack=-1也有可能造成数据的丢失，当我们ISR（同步副本队列）中只有leader一个副本的时候，而这个leader宕掉了，其他副本没有保存数据，这个时候就会造成数据丢失，需要设置副本数>1就行
kafka有两次消息传递，生产者生产数据kafka，消费者从topic消费数据，两次都是精准一次才能保证最终精准一次，先来说一下生产者精准一次吧。首先要设置ack=-1（all），然后开启幂等性，同一个消息可能会被生产者发送多次，但是在broker端只会写入一次，再+上事务，这样可以保证生产端实现精准一次。
还有一种方法可以用kafka自己的流处理引擎，就是kafka stream可以解决这个问题 。然后消费端可以设置手动提交offset 默认是自动提交的，而这又有可能导致重复消费，当消费者宕掉之后没有提交offset，恢复后又要重新消费，如果确实要维护消费者端的精准一次，最后在下一级进行去重。但是这太耗费资源了，得具体问题看具体分析了。

Kafka配合其他组件

可以使用Kafka搭配一些支持事务的数据库，将offset以事务的形式存储到数据库中。Eg:Mysql。

---

Kafka中的ISR、AR又代表什么？

ISR：与leader保持同步的follower集合
AR：分区的所有副本

Kafka中的HW、LEO等分别代表什么？

LEO：每个副本的最后一条消息的offset
HW：一个分区中所有副本最小的offset