- 博客(1)
- 收藏
- 关注
原创 kafka HW机制的作用
1、如果没有该机制,消费端从leader副本poll了一批消息消费之后,leader副本挂机了,之后从ISR选举出的副本中的消息可能是比leader少了的。如果此时consumer处理完这批数据提交offset,有可能将producer在选举之后到提交offset这段时间内,新生产的而且自己未消费的数据置为已消费。也就是消费端会丢失这部分新产生而在kafka中实实在在保存着的数据。这时候消费端很难区分队列中的这部分存在然而没有被消费的数据的。 2、那设置了HW机制,在ack模式为1的情况下其实也是丢失了数据
2021-09-24 11:17:11
972
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人