消息传递语义:
消息传递语义一共有三种,至少一次(at least once),至多一次(at most once ) 以及精准一次(exactly once )
kafka 默认实现了前两种
Kafka中如何配置呢?
如果只用kafka的来实现的话
设置ack=0就是至多一次 ack=1是至少一次 默认是ack=1 ack=1就是leader副本响应ack就行 ,
而ack=-1/all 是指所有副本都需要确认收到才继续下一次生产数据。而ack=-1也有可能造成数据的丢失,当我们ISR(同步副本队列)中只有leader一个副本的时候,而这个leader宕掉了,其他副本没有保存数据,这个时候就会造成数据丢失,需要设置副本数>1就行
kafka有两次消息传递,生产者生产数据kafka,消费者从topic消费数据,两次都是精准一次才能保证最终精准一次,先来说一下生产者精准一次吧。首先要设置ack=-1(all),然后开启幂等性,同一个消息可能会被生产者发送多次,但是在broker端只会写入一次,再+上事务,这样可以保证生产端实现精准一次。
还有一种方法可以用kafka自己的流处理引擎,就是kafka stream可以解决这个问题 。然后消费端可以设置手动提交offset 默认是自动提交的,而这又有可能导致重复消费,当消费者宕掉之后没有提交offset,恢复后又要重新消费,如果确实要维护消费者端的精准一次,最后在下一级进行去重。但是这太耗费资源了,得具体问题看具体分析了。
Kafka配合其他组件
可以使用Kafka搭配一些支持事务的数据库,将offset以事务的形式存储到数据库中。Eg:Mysql。
Kafka中的ISR、AR又代表什么?
ISR:与leader保持同步的follower集合
AR:分区的所有副本
Kafka中的HW、LEO等分别代表什么?
LEO:每个副本的最后一条消息的offset
HW:一个分区中所有副本最小的offset