本文探讨了Kafka在保证数据一致性方面的HW机制，包括follower和leader故障时的数据同步策略。此外，分析了Kafka消息重复消费的场景，如消息重复提交和Partition再均衡，提出了解决方法，如优化消费端性能和使用幂等性。最后，针对Kafka线上大量消息积压，建议通过增加Topic分区和消费者数量、优化业务逻辑以及紧急处理方案来应对。
kafka是通过HW（High Water Mark） 机制来保证数据的一致性。
（1）follower故障
follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW，即follower追上leader之后，就可以重新加入ISR了。
（2）leader故障
leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉&#x
388
268
801
488
2051
2163
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
