kafka中关于HW,LEO，offset之间的关系

最新推荐文章于 2024-02-21 11:43:41 发布
最新推荐文章于 2024-02-21 11:43:41 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37714755/article/details/105119682
版权

前言

下面叙述的概念我曾去官网查询无果，于是查询了大量的技术帖子进行汇总。这个结论是目前普遍接受的解释！
参考贴链接
参考贴链接

特别注意

  • 下面讨论的是基于offset连续，且无压缩的情况！每个offset都只有一个消息，且连续！
    下面讨论的是基于offset连续，且无压缩的情况！每个offset都只有一个消息，且连续！
    下面讨论的是基于offset连续，且无压缩的情况！每个offset都只有一个消息，且连续！

重要的事说三遍（后面的offset+1 中的1基于连续！！！！）

offset（偏移量）

在这里插入图片描述官方的解释是每一个offset就是一个消息！
这里面会发现offset不连续，其实是进行了压缩，例如79到86.如果指定offset来消费消息，那么从79到86指定是等价的！这里就不展开说了，有兴趣自己查阅文档！

在这里插入图片描述

HW（High Watermark高水位）

  • HW我在官方文档里没有查到其定义，但是看了很多技术帖子发现，这个是在ISR副本中定义的。
  • ISR（in-sync replica ）分区所有副本中offset最小的副本他最后一条消息后的待写位置。也是该副本的LEO！
  • 在HW之后的消息是不能被customer消费的，即消费者可见的message的offset是HW-1

LEO（Log End Offset 日志结束位）

  • ISR分区副本最后一条消息的待写位！即每个副本最大offset+1=LEO

在offset最小的那个副本中 LEO=HW！

威尼斯的星期天
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka中的AR、ISR、LEO、HW分别是什么
weixin_43230682的博客
07-13 6676
AR： Assigned Replicas的缩写，是每个partition下所有副本（replicas）的统称； ISR： In-Sync Replicas的缩写，是指副本同步队列，ISR是AR中的一个子集； LEO：LogEndOffset的缩写，表示每个partition的log最后一条Message的位置。 HW： HighWatermark的缩写，是指consumer能够看到的此partition的位置。 取一个partition对应的ISR中最小的LEO作为HW，consumer最多只能消.
经典面试题-Kafka
01-07
Kafka 中的 HW、LEO 等分别代表什么？ Kafka 中是怎么体现消息顺序性的？ Kafka 中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？ Kafka 生产者客户端的整体结构是什么样子的？使用了几个线程来...
深入理解 Kafka 的 offset、 leo、hw、epoch 概念
天道酬勤
02-28 2071
Kafka 作为一个分布式的消息中间件，在高性能、高并发、高可用上有杰出的表现，在数据一致性上更是做出了诸多努力
kafka中LEO和HW
小泽
07-08 379
a
Kafka_LEO_HW
Swhite_WZ
07-07 577
HW (HighWaterMark) 和 LEO (Last End Offset) LEO：每个最后一个offset即为该副本的LEO HW：ISR和副本leo落后leader LEO的时长不大于replica.lag.time.max.ms参数值(默认是10s)的副本中最小的LEO即为该分区的HW，用来判定副本的备份进度，HW以外的消息不被消费者可见 leader持有的HW即为分区的HW,同...
Kafka 之 HW 与 LEO
程序猿进阶
04-23 3778
HW（High Watermark）：俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个 offset 之前的消息。分区 ISR 集合中的每个副本都会维护自身的 LEO（Log End Offset）：俗称日志末端位移，而 ISR 集合中最小的 LEO 即为分区的 HW，对消费者而言只能消费 HW 之前的消息。 LEO：该副本底层 log文件下一条要写入的消息的位移，例如 LEO=10则当前文件已经写了了10条消息，位移是[0,10)。HW：所有分区已提交的的位移，一般HW&
Kafka-LEO和HW概念及更新流程
weixin_43865381的博客
01-26 2318
目录LEO&HW基本概念LEO&HW更新流程LEOHW更新流程示例分析 引言 记录下和kafka相关的LEO和HW的内容，文中很多理解参考文末书籍还有某前辈。 回到顶部LEO&HW基本概念 Base Offset：是起始位移，该副本中第一条消息的offset，如下图，这里的起始位移是0，如果一个日志文件写满1G后（默认1G后会log rolling），这个起始位移就不是0开始了。 HW（high watermark）：副本的高水印值，re...
Kafka知识汇总 18道
04-20
LEO（Last End Offset）记录了每个副本日志末端的位移值，而HW（High Watermark）标记了被认为是已提交或已备份的消息的位移值。当Follower的LEO值落后于Leader过多，或者超过指定时间未发起fetch请求，它将从ISR中...
Kafka常见23道面试题以答案.docx
06-29
本文将详细解释Kafka面试题答案，涵盖Kafka的用途、ISR、AR、HW、LEO、LSO、LW等概念，以及Kafka的消息顺序性、分区器、序列化器、拦截器、消费者提交消费位移、重复消费、消息漏消费等问题。 一、Kafka的用途 ...
Kafka知识汇总 18道1
08-03
Kafka 还引入了水印备份机制，包括 LEO（Last End Offset）和 HW（High Watermark）。LEO 表示副本最后一条消息的位移，而 HW 是 Leader 认为已经提交的消息的最高位移。只有当 ISR 中的所有副本都确认了某个位移值...
深入剖析Kafka设计原理：如何构建高效的消息系统
12-25
Kafka通过HW（High Watermark）和LEO（Log-End-Offset）两个概念来跟踪每个分区的最新状态，HW表示已确认安全送达的最新消息，而LEO则是分区的最新消息位置。 总的来说，Kafka的设计原理涵盖了从Controller的选举、...
Kafka HW&LEO概念入门
鸭梨的博客
01-27 732
HW HW （High Watermark）俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个offset之前的消息。 LEO LEO （Log End Offset），标识当前日志文件中下一条待写入的消息的offset。上图中offset为9的位置即为当前日志文件的 LEO，LEO 的大小相当于当前日志分区中最后一条消息的offset值加1.分区 ISR 集合中的每个副本都会维护自身的 LEO ，而 ISR 集合中最小的 LEO 即为分区的 HW，对消费者而言只能消费 HW
Kafka中的HW、LEO等分别代表什么意思?
最新发布
zy1992As的博客
02-21 297
在Apache Kafka中，HW(High Watermark)和 LEO(Log End Offset)是与分区的复制和消息传递相关的两个关键概念。
kafka里分区副本、ISR、HW、LEO、offset
是木子啦~
05-26 429
分区是把主题里的数据分机器放，同时也提高读写数据的并行度 副本就是用来做备份的，有leader和follower之分，数据写道leader，消费也是找leader，当leader挂了之后找follower,中间会引出来ISR的概念，当leader挂了之后在ISR里选一个，哪些副本可以进到ISR看同步时间，老版本还看同步的数据量，当leader挂了，follower起来之后，会不会丢数据或者重复数据，就和生产者的ack有关。ISR里还有俩个概念，一个是HW，一个是LEO（同一个分区里面多个副本之间，每一个副本
KafkaBroker管理之LEO、HW的含义
百看不如一RUN
08-02 642
LEO 是跟offset有关系的 在kafka里面，无论leader partition 还是follower partition 统一都称为副本（replica）。 LEO： log end offset 每次partition接收到一条消息，都会更新自己的LEO，也就是 log end offset ，LEO其实就是最新的offset + 1 **HW： ** 高水位 LEO 有一个很重要的功能就是更新HW，如果folllower和leader的LEO 同步了，此时HW就可以更新 HW之前的数据对消.
Kafka的ACK参数详解及ISR、HW、LEO介绍
weixin_41745141的博客
03-24 1770
介绍了kafka的ACK、ISR、HW、LEO等参数
***实现Kafka完全不重复消费或者丢失消费
码上中年的博客
03-02 1245
1. 存在原因：丢失消费/重复消费 1 自动提交offset： 1.1 当自动提交时间为1s时，间隔时间达到1s，offset（100）已经提交，但是数据处理尚未完成（只处理了80）出错了（挂了），此时从新启动后会从已经提交的offset（100）开始消费处理，那么81-100这些数据就未处理，导致丢失消费 1.2 当自动提交时间为3s时，数据1s已经处理完了一批,突然挂了，由于提交时间未到，offset未提交，重新启动时，会重复处理已经处理过的数据，导致重复消费 2 官方手动提交（与上雷同问题） 2
Kafka 入门到起飞 - 什么是 HW 和 LEO？何时更新HW和LEO呢？
FightingITPanda的博客
08-16 2002
高水位可以理解为一个`横切面`，存储的也是`Offset`(位移)值，木水桶原理
Kafka中HW和LEO增长的原理是什么?流程是怎样的?
mengzhongtian的博客
12-08 838
我们知道kafka中hw可以用来管理消费者能访问到的最新的数据的位置, 并且当kafka leader节点挂掉后, follower节点会把hw以后的数据都清理掉, 从hw位置开始从新选举出来的leader节点同步数据, 那么HW增长的原理是怎样的呢? 带着这个疑问, 看完以下内容就能明白! 1. LEO (log end offset)是干啥的? 每个副本(leader/ follower)都有一个leo, 表示的是这个副本最新的数据最大的偏移量, 不包含当前数据 leo存储在...
kafka leo hw
09-18
LEO（Log End Offset）是指副本底层log文件中下一条要写入的消息的位移。例如，如果LEO=10，那么当前文件已经写入了10条消息，位移范围是[0,10)。HW（High Watermark）是指所有分区已提交的位移，通常HW<=LEO。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值