Kafka HW 与LEO笔记

HW俗称高水位，HighWatermark的缩写，取一个partition对应的ISR中最小的LEO( log-end-offset )作为HW， consumer最多只能消费到HW所在的位置。另外每个replica都有HW,leader和follower各自负责更新自己的HW的状 态。对于leader新写入的消息，consumer不能立刻消费，leader会等待该消息被所有ISR中的replicas同步后更新HW， 此时消息才能被consumer消费。这样就保证了如果leader所在的broker失效，该消息仍然可以从新选举的leader中获取。

这个就保证了集群间节点数据同步时出现异常后恢复数据不丢失的问题出现。