聊聊Kafka(八)Kafka的一致性

最新推荐文章于 2024-02-18 20:48:44 发布

一白丁

最新推荐文章于 2024-02-18 20:48:44 发布

阅读量863

点赞数 1

分类专栏：消息中间件

本文链接：https://blog.csdn.net/z591045/article/details/112349026

版权

概念

水位标记
水位或水印（watermark）一词，表示位置信息，即位移（offset）。Kafka源码中使用的名字是高水位，HW（high watermark）。
副本角色
Kafka分区使用多个副本(replica)提供高可用。
LEO和HW
每个分区副本对象都有两个重要的属性：LEO和HW。

LEO：即日志末端位移(log end offset)，记录了该副本日志中下一条消息的位移值。如果LEO=10，那么表示该副本保存了10条消息，位移值范围是[0, 9]。另外，Leader LEO和Follower LEO的更新是有区别的。
HW：即上面提到的水位值。对于同一个副本对象而言，其HW值不会大于LEO值。小于等于HW值的所有消息都被认为是“已备份”的（replicated）。Leader副本和Follower副本的HW更新不同。

在这里插入图片描述
上图中，HW值是7，表示位移是 0~7 的所有消息都已经处于“已提交状态”（committed），而LEO值是14， 8~13的消息就是未完全备份（fully replicated）——为什么没有14？LEO指向的是下一条消息到来时的位移。

消费者无法消费分区下Leader副本中位移大于分区HW的消息。

Follower副本不停地向Leader副本所在的broker发送FETCH请求，一旦获取消息后写入自己的日志中进行备份。那么Follower副本的LEO是何时更新的呢？首先必须言明，Kafka有两套Follower副本

LEO：

Kafka使用前者帮助Follower副本更新其HW值；利用后者帮助Leader副本更新其HW。

Follower副本的本地LEO何时更新？
Follower副本的LEO值就是日志的LEO值，每当新写入一条消息，LEO值就会被更新。当Follower发送FETCH请求后，Leader将数据返回给Follower，此时Follower开始Log写数据，从而自动更新LEO值。
Leader端Follower的LEO何时更新？
Leader端的Follower的LEO更新发生在Leader在处理Follower FETCH请求时。一旦Leader接
收到Follower发送的FETCH请求，它先从Log中读取相应的数据，给Follower返回数据前，先更新Follower的LEO。

Follower更新HW发生在其更新LEO之后，一旦Follower向Log写完数据，尝试更新自己的HW值。
比较当前LEO值与FETCH响应中Leader的HW值，取两者的小者作为新的HW值。

即：如果Follower的LEO大于Leader的HW，Follower HW值不会大于Leader的HW值。

和Follower更新LEO相同，Leader写Log时自动更新自己的LEO值。

Leader的HW值就是分区HW值，直接影响分区数据对消费者的可见性。

Leader会尝试去更新分区HW的四种情况：

结论：
当Kafka br

关注