KafKa-深入解析Leader和Follower数据同步机制（HW，LEO概念）

最新推荐文章于 2023-02-28 13:32:29 发布
最新推荐文章于 2023-02-28 13:32:29 发布
阅读量860 收藏
点赞数
分类专栏： KafKa
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/panxiaojun/article/details/102958193
版权

HW vs LEO
LEO（LogEndOffset）：表示每个partition的log最后一条Message的位置。
HW（HighWatermark）：高水位线概念，表示partition各个replicas数据间同步且一致的offset位置，即表示allreplicas已经commit位置，每个Broker缓存中维护此信息，并不断更新。是指consumer能够看到的此partition位置。
取一个partitionISR中最小的LEO作为HW，consumer最多只能消费到HW所在位置。
Consumer只能看到commit的数据，也就是HW的数据

Follower如何从Leader fetch消息

 

大而话之-Big Data
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka leader和flower故障处理过程
congge_study的博客
03-05 7788
kafka leader和flower故障处理过程
Kafka系列之：深入理解Kafka 主题、分区、副本、LEO、ISR、HW、Kafka的主写主读和分区leader选举
zhengzaifeidelushang的博客
09-14 578
Kafka系列之：深入理解Kafka 主题、分区、副本、LEO、ISR、HW、Kafka的主写主读和分区leader选举
认识KafKa-深入解析Leader和Follower数据同步机制（HW，LEO概念）
TT-Learning
01-11 2077
HW vs LEO LEO（LogEndOffset）：表示每个partition的log最后一条Message的位置。 HW（HighWatermark）：表示partition各个replicas数据间同步且一致的offset位置，即表示allreplicas已经commit位置，每个Broker缓存中维护此信息，并不断更新。是指consumer能够看到的此partition位置。 取一个p...
kafka的副本数据的同步原理
小马哥的博客
08-14 6950
在《kafka的partition 的高可用副本机制》一文中介绍了parttion的高可用原理，副本机制中的几个概念和协同机制后，下面来说说副本数据的同步原理。 数据的同步过程 了解了副本的协同过程以后，还有一个最重要的机制，就是数据的同步过程。它需要解决 怎么传播消息 在向消息发送端返回 ack 之前需要保证多少个 Replica已经接收到这个消息 数据的处理过程是 P...
看透kafka（-） kafka数据存储详解（存储速度，高水位，偏移量，LEO，ISR等）
weixin_40954192的博客
12-06 1169
kafka 始于linkedIn公司 （scala语言编写），现以捐献给apache基金会 总所周知，kafka数据持久化与磁盘。为什么kafka基于磁盘比基于内存还要快。 1.kafka的数据文件是二进制文件，相对文本文件要小，减少了很多数据传输，提高了速度 2.kafka是对于磁盘进行顺序读写，避免了磁盘随机写的磁盘寻道的开销 3.kakfa消息再写入磁盘前会先写...
Kafka 的实现原理
跨语言，跨平台，跨应用
01-19 1994
1、消息中间件能做什么？ 1.1 异步处理 消息中间件主要解决的就是分布式系统之间消息传递的问题，它能够屏蔽各种平台以及协议之间的特性，实现应用程序之间的协同。举个非常简单的例子，就拿一个电商平台的注册功能来简单分析下，用户注册这一个服务，不单单只是 insert 一条数据到数据库里面就完事了，还需要发送激活邮件、发送新人红包或者积分、发送营销短信等一系列操作。假如说这里面的每一个操作，都需要消耗 1s，那么整个注册过程就需要耗时 4s 才能响应给用户。 但是我们从注册这个服务可以看到，每一个子操作都是相
Kafka-之术语（名词解释：HW、LEO、ISR、LEADER、FOLLOWER......）
shufangreal的博客
12-04 791
Kafka-之术语（名词解释） 我觉得吧，有些小伙伴其实对Kafka只有一个笼统的了解，对kafka相关的名词解释呢也是一知半解。那么这边博客就对kafka相关的名词作出比较完整的解释吧！～，以下是需要解释的名词 Producer kafka生产者，Kafka集群的数据都是生产者发送上报的； Broker 每个Broker算是一个Kafka的集群节点； Consumer 每个Kafka的数据都会被1个或者多个Consumer线程所消费； kafka一个分区的数据只能同时被一个Consu
kafka-7 kafka内核机制之《ISR机制和HW&LEO原理》
a3125504x的博客
08-24 1232
ISR机制和HW&LEO原理ISR机制HW&LEO原理LEOHW更新LEO机制follower更新LEOleader更新LEO更新HW机制follower更新HWleader更新HW时机leader更新HW的方式HW和LEO更新流程图扩展 ISR机制 ISR机制通过只选举在ISR列表中的follower作为新的leader来保证kafka数据的不丢失。 ISR：即in-sync replica，就是跟leader partition保持同步的follower partition的数量，只有处
Kafka可靠性之HW与Leader Epoch
daima_caigou的博客
11-06 1694
《深入理解Kafka：核心设计与实现原理》是基于2.0.0版本的书 在这本书中，终于看懂了笔者之前提过的几个问题 准备知识 1、leader里存着4个数据：leader_LEO、leader_HW、remote_LEO集合、remote_HW集合 2、follower里只保存自身的：follower_LEO、follower_HW HW和LEO更新过程 假设： 1个leader 和 2个follower 此时：leader_LEO = 5、leader_HW = 0、所有follower.
kafka 文件存储 消息同步机制
weixin_43704834的博客
08-15 1556
kafka文件存储 消息同步
Kafka的ISR概念及Leader和follower数据同步机制
Cc的博客
03-17 4441
1.Replica kafka的broker端每个partition都会有多个副本（replica），至少有一个leader领导者副本以及多个follower追随者副本（可配置），分区接收消息以及消费消息都会在leader中进行，而follower副本的作用就是备份leader中的消息，它们会定时的从leader中拉取最新数据，从而尽可能的保证和leader的同步。 1.什么是ISR？ 分区中的所有副本统称为AR（Assigned Replicas）。所有与leader副本保持一定程度同步的副本（包括lea
《Apache Kafka 实战》笔记 - 6.1.4 LEO和HW的更新机制
u011250186的博客
01-27 357
概念回顾 LEO：last end offset，日志末端偏移量，记录了该副本对象底层日志文件中下一条消息的位移值。举一个例子，若LEO=10，那么表示在该副本日志上已经保存了10条消息，位移范围是[0，9]。 HW：highwatermark，高水印值，任何一个副本对象的HW值一定不大于其LEO值，而小于或等于HW值的所有消息被认为是“已提交的”或“已备份的”。 HW指向的是实实在在的消息，而LEO总是指向下一条待写入消息，也就是说LEO指向的位置上是没有消息的，例如HW值是7，这表示前8条消...
Kafka 和 Zookeeper 的 Leader 和 Follower 区别（选举&数据同步）
专注基础架构领域
07-27 2752
一、zookeeper 与kafka保持数据一致性的不同点： (1)zookeeper使用了ZAB(ZookeeperAtomicBroadcast)协议，保证了leader,follower的一致性，leader 负责数据的读写，而follower只负责数据的读，如果follower遇到写操作，会提交到leader; 当leader宕机的话，使用Fast Leader Election快速选举出新的leader,节点在一开始都处于选举阶段，只要有一个节点得到超半数节点的票数，它就可以当选准 l...
kafka-04数据同步原理ISR、ACK、LEO、HW
m0_45987292的博客
02-24 1307
111
kafka 副本数据同步原理和数据丢失解决方案
weixin_43281498的博客
04-20 4052
副本的协同机制请移步：kafka 消息分发机制、分区和副本机制（三、分区的副本机制） 副本还有一个重要的机制，就是数据同步过程，它需要解决 怎么传播消息 在向消息发送端返回 ack 之前需要保证多少个 Replica 已经接收到这个消息 一、 副本的结构 深红色部分表示 test_replica 分区的 leader 副本，另外两个节点上浅色部分表示 follower 副本 二、 数据的处理过程 Producer 在发布消息到某个 Partition 时： 先通过 ZooKeeper 找到该 Pa
深入理解 Kafka 的 offset、 leo、hw、epoch 概念
天道酬勤
02-28 2219
Kafka 作为一个分布式的消息中间件，在高性能、高并发、高可用上有杰出的表现，在数据一致性上更是做出了诸多努力
kafka的分区的leader和follower
科学的N次方
06-20 5407
在kafka中，每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower,在创建topic的时，kafka会将每个分区的leader均匀的分配在每个broker上。我们正常使用kafka是感觉不到leader，follower的存在的。但其实，所有的读写操作都是由leader处理，而所有的follower都复制leader的日志数据文件，如果leader出现故障时，follower就会被选举为leader。所以，可以这样说： kafka中的leader负责处
Kafka中HW和LEO增长的原理是什么?流程是怎样的?
mengzhongtian的博客
12-08 867
我们知道kafka中hw可以用来管理消费者能访问到的最新的数据的位置, 并且当kafka leader节点挂掉后, follower节点会把hw以后的数据都清理掉, 从hw位置开始从新选举出来的leader节点同步数据, 那么HW增长的原理是怎样的呢? 带着这个疑问, 看完以下内容就能明白! 1. LEO (log end offset)是干啥的? 每个副本(leader/ follower)都有一个leo, 表示的是这个副本最新的数据最大的偏移量, 不包含当前数据 leo存储在...
kafka 副本同步-leader和follower的leo，hw更新流程
m0_46449152的博客
03-21 493
1、流程图 2、源码详解 Leader端： KafkaApi.handleProducerRequest replicaManager.appendMessages -> appendToLocalLog // 把数据写到leader partition里面 -> partition.appendMessagesToLeader -> log.append -> segment.append(把数据写入到segment里面去) 2. 更新自己的LEO -> up
kafka leader和follower消息是怎么同步的
最新发布
06-09
在Kafka中，Leader和Follower之间的消息同步是通过副本同步机制来实现的。具体来说，Leader将消息写入本地日志后，会将消息发送给Follower节点，Follower节点接收到消息后会将消息写入本地日志，并向Leader发送确认消息，告诉Leader自己已经成功接收到了消息。 在整个过程中，Leader会不断地向Follower发送消息，直到Follower完全同步了Leader的所有消息。如果Follower出现了故障，Leader会持续不断地发送消息，直到Follower恢复正常并且成功同步了Leader的所有消息。 需要注意的是，Kafka采用的是异步复制的方式进行副本同步，即Leader将消息发送给Follower后就会立即返回，不会等待Follower的确认。这种方式可以提高消息的传输效率，但也会带来一定的数据一致性风险。为了尽可能地减小这种风险，Kafka还提供了多个副本机制，即一个分区可以有多个副本，这些副本分别存储在不同的节点上，可以提高数据的可靠性和容错性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值