kafka-7 kafka内核机制之《ISR机制和HW&LEO原理》

最新推荐文章于 2024-09-22 22:58:33 发布
最新推荐文章于 2024-09-22 22:58:33 发布
阅读量1.2k 收藏 8
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/108181309
版权
本文深入探讨Kafka的ISR机制，解释如何保证数据不丢失。同时阐述HW（高水位）和LEO（日志末端偏移量）原理，确保ISR列表中数据一致性，并描述LEO和HW的更新流程，以实现高可用性和数据安全性。
摘要由CSDN通过智能技术生成

ISR机制和HW&LEO原理

ISR机制

ISR机制通过只选举在ISR列表中的follower作为新的leader来保证kafka数据的不丢失。

ISR：即in-sync replica，就是跟leader partition保持同步的follower partition的数量，只有处于ISR列表中的follower才可以在leader宕机之后被选举为新的leader，因为在这个ISR列表里代表他的数据跟leader是同步的。
ISR列表：存放和leader partition保持同步的follower partition的列表，ISR列表存放在ZK上

单纯的多副本可以保证kafka高可用，但是并不能保证kafka数据的不丢失。当leader宕机时，如果leader有部分数据未同步到follower中，即使新选举出leader（原某个follower），未同步部分的数据以及丢失了。
如果要保证写入kafka的数据不丢失

  • 首先需要保证ISR中至少有一个follower
  • 其次就是在一条数据写入了leader partition之后，要求必须复制给ISR中所有的follower partition

只有同时满足上面两个条件才能说代表这条数据已提交，绝对不会丢失

HW&LEO原理

HW和LEO只要是为了保证ISR列表中的数据是一致的（leader和follower都在ISR列表中），进而保证kafka数据的不丢失。
其主要通过以下两个值来约束，

最低0.47元/天 解锁文章
Kafka数据可靠性：深入理解复制机制复制机制详解
AI天才研究院
05-29 619
Kafka数据可靠性：深入理解复制机制-复制机制详解 1.背景介绍 1.1 什么是Kafka Apache Kafka是一个分布式流处理平台,它是一个可扩展的、高吞吐量的分布式发布-订阅消息系统。Kafka最初是由Lin
Kafka之ISR机制的理解
热门推荐
daima_caigou的博客
11-03 2万+
问题1：Kafka对于producer发来的数据的怎么保证可靠性？ 每个partition都给配上副本，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的是完全同步方案 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1
Kafka简单入门02——ISR机制
Elaine2391的博客
10-23 5754
kafka简单入门
kafka的ISR机制详解
最新发布
inori1256的博客
09-22 987
在实际操作中，Kafka不会等待所有五个副本都确认消息后再认为消息已提交，ISR的做法是先设置几个队列(如设置3个，一般要为奇数个，不然zookeeper的过半选举机制容易难以进行)，作为ISR队列，要求leader同步完这个两个才算完成，而其他的副本作为followers队列，不要求及时同步。这样做的好处就是如果leader端发生故障，可以及时从ISR队列中选出一个leader，因为他们是完全同步的，所以直接衔接，不会出任何问题，随后ISR再从followers队列中选取一个作为ISR队列的替补。
kafka ISR机制
wwwwwww31311的博客
08-29 1万+
kafka 为了保证数据的一致性使用了isr 机制 首先我们知道kafka 的数据是多副本的，某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。每个topic 下的每个分区下都有一个leader 和(N-1)个follower， 每个follower 的数据都是同步leader的 这里需要注意 是follower 主动拉取leader 的数据 Replica的个数小于等
kafka的isr机制
breakout_alex的博客
06-27 1239
Data Replication Kafka 的 Data Replication 需要解决如下问题： 怎样 Propagate 消息 在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息 怎样处理某个 Replica 不工作的情况 怎样处理 Failed Replica 恢复回来的情况 Propagate 消息 通过zookeeper先知道leader在哪一台机器上，然后produce将消息发送到leader上，Follower 在收到该消息并写入其 Log 后，
kafka的ISR机制
MyJavaIsLaJi的博客
02-15 666
kafka的高可用的
Kafka 的 ISR 机制
weixin_43281498的博客
08-11 486
在 0.9.x 之前的版本，Kafka 有一个核心的参数 :replica.lag.max.messages 表示如果 Follower 落后 Leader 的消息数量超过了这个参数值，就认为 Follower 就会从 ISR 列表里移除。由于 ISR 中的副本与之前的领导副本保持同步，新的领导副本能够继续提供服务，而不会丢失数据。当追随者副本追上了领导副本的日志进度（即达到了与领导副本相同的日志偏移量），领导副本会将其重新加入ISR。具体的 ISR 列表维护机制在不同的 Kafka 版本中有所变化。
kafka-存储原理-机制、结构及底层原理
u014439693的博客
02-26 3245
我们知道Kafka中的消息是存储在磁盘上的，那么为什么要使用磁盘作为存储介质？具体消息的存储格式又是什么呢？怎么样能够快速检索到指定的消息？消息不可能无限制存储，那么清理规则又是什么呢？ 1.1 Kafka-存储机制、结构 log.dirs=/usr/local/var/lib/kafka-logs kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片 并不是.
Kafka-Broker
萝卜头柯克船长的博客
06-21 818
1. 集群成员 Kafka使用Zookeeper来管理集群成员（Broker），Broker启动时通过创建临时节点将自己注册到在Zookeeper，Zookeeper会将Broker的变动信息通知给控制器。 1.1 控制器 控制器是一个Kafka集群中的一个Broker，其作用是在Zookeeper的帮助下管理和协调整个Kafka集群。 Zookeeper概述 Zookeeper是一个高可靠性的分布式协调框架，核心功能是提供了：文件系统+通知机制。 ZK在内存中以树状目录结构存储数据，保证了高吞吐量和低延
kafka学习笔记 & 面经分享
qq_45796208的博客
10-27 2303
本文结合尚硅谷kafka教学课程学习，总结kafka常见面试题及答案
关于kafka的isr机制
流的博客
01-10 9738
1. 问题 Data Replication Kafka 的 Data Replication 需要解决如下问题： 怎样 Propagate 消息 在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息 怎样处理某个 Replica 不工作的情况 怎样处理 Failed Replica 恢复回来的情况 2. Propagate 消息 通过zookeeper先知...
Kafka HA Kafka一致性重要机制之ISR(kafka replica)
MannerXu的博客
07-27 1239
一、kafka replica 当某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。 Replica的个数小于等于Broker的个数，也就是说，对于每个Partition而言，每个Broker上最多只会有一个Replica，因此可以使用Brok...
kafka中的ISR机制详解
u012534547的博客
09-11 468
Kafka 的 ISR 集合确保了分区数据在多个副本之间的一致性和高可用性，即使 Leader 副本故障，ISR 中的其他副本也可以接管 Leader 的职责，从而保证 Kafka 集群的健壮性和数据安全。
Kafka学习笔记（五）副本机制
haogenmin的博客
11-02 380
版权声明：本文为转载文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。 原文链接：https://blog.csdn.net/weixin_39468305/article/details/106369196 Topic、Partition、Replica是主题层三要素，每个Topic都有至少一个Partition，而Partition有副本机制，Kafka 定义了两类副本：领导者副本和追随者副本。只能有 1 个领导者副本和 N-1 个追随者副本。 这些都是你死记硬...
Kafka高可用之ISR机制：揭秘消息一致性背后的守护者
知行同学
04-09 1981
Kafka的ISR机制作为保障高可用性与数据一致性的核心机制，通过动态维护同步副本集合，确保Leader故障时能快速选出新Leader，保持Partition服务不间断，同时在网络波动等异常情况下，通过调整ISR成员，兼顾数据一致性与系统的健壮性。：In-Sync Replica Set（ISR）是Kafka为每个Partition维护的一个副本集合，这些副本与Leader Replica保持数据同步，即已接收到并持久化了Leader发布的所有消息。减小该值可提高写入速度，但降低数据冗余度。
Kafka内核原理之ISR-HW-LEO机制、producer核心流程、producer核心参数、consumer消费原理、consumer核心参数
fengge18306的博客
05-23 1646
目录 1. kafka内核原理 1.1、ISR机制 1.2 HW&LEO原理 （1）LEO （2）HW （3）更新LEO的机制 （4）更新HW的机制 （5）LEO、HW更新逻辑的顺序 2. producer相关 2.1 producer消息发送原理（核心流程） 2.2、producer核心参数 （1）常见异常处理 （2）提升消息吞吐量 （3）请求超时 （4）ACK参数 （5）重试乱序 3. broker核心参数（server.properties配置文...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值