Kafka中的 ISR 、RAR 又代表什么？ ISR 的伸缩又指什么

最新推荐文章于 2024-04-07 10:36:56 发布
最新推荐文章于 2024-04-07 10:36:56 发布
阅读量235 收藏
点赞数
分类专栏： kafka 大数据 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44124306/article/details/110947823
版权

ISR:In-Sync Replicas 副本同步队列
AR:Assigned Replicas 所有副本
ISR 是由 leader 维护，follower 从 leader 同步数据有一些延迟（包括延迟时间
replica.lag.time.max.ms 和延迟条数 replica.lag.max.messages 两个维度, 当前最新的版
本0.10.x中只支持replica.lag.time.max.ms这个维度） ， 任意一个超过阈值都会把follower
剔除出 ISR, 存入 OSR（Outof-Sync Replicas）列表，新加入的 follower 也会先存放在
OSR 中。AR=ISR+OSR。

盼望成长
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第35课：Kafka源码解读中分区数、Consumer并行度等
段智华的博客
07-03 1416
第35课：Kafka源码解读中分区数、Consumer并行度等   kafka中怎么设置分区的？ class Partition： Data structure that represents a topic partition. The leader maintains the AR, ISR, CUR, RAR Partition分区被zookeeper管理的 zookeeper有
kafka中的ISR、AR又代表什么？ISR伸缩又是什么？
qq_35240226的博客
06-02 1814
​ 分区中的所有副本统称为AR（Assigned Repllicas）。所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower副本相对于leader副本而言会有一定程度的滞后。前面所说的“一定程度”是指可以忍受的滞后范围，这个范围可以通过参数进行配置。与leader副本同步滞后过多的副本（不包括
【项目实战】Kafka 分区中的AR、ISR、OSR
激流丶的博客
07-20 5224
**AR（Assigned Replicas）** 是指为每个分区分配的副本集合。在Kafka中，每个分区可以有多个副本，其中一个副本被选举为leader，其他副本为follower。AR是指包括leader副本在内的所有副本的集合。 **ISR（In-Sync Replicas）** 是指与leader副本保持同步的follower副本集合。只有处于ISR中的副本才会被认为是同步的，其他副本将被视为不可靠的。当follower副本无法及时跟上leader副本的同步进度时，它将被移出ISR，直到它能够追赶
Kafka简单入门02——ISR机制
Elaine2391的博客
10-23 5172
kafka简单入门
kafka的ISR机制
MyJavaIsLaJi的博客
02-15 629
kafka的高可用的
Kafka详细课程讲义
01-21
Kafka的设计目标是处理实时数据流，它提供了一个低延迟、高可伸缩、持久化、容错的平台，适用于构建实时数据管道和流应用。 **第 2 章 Kafka 安装和使用** 安装Kafka涉及以下几个步骤： 1. 下载Kafka最新稳定版。 ...
Kafka安装文档和安装包
02-23
1. **主题（Topic）**：主题是Kafka中的数据分类，类似于数据库中的表。数据以消息的形式存储在主题中，且每个主题可以分为多个分区。 2. **分区（Partition）**：分区是主题的逻辑细分，有助于提高并行度和系统...
Kafka知识点（基础+进阶+高阶）
03-17
1. **生产者**: 生产者是数据的来源，它们负责将消息发布到Kafka的主题中。生产者可以是任何生成数据的应用程序，如日志记录系统或传感器设备。 2. **消费者**: 消费者从Kafka的主题中拉取消息进行处理。消费者可以...
kafka44知识点（基础+进阶+高阶）
02-20
ISR的伸缩 leader副本负责维护和跟踪ISR集合中所有follower副本的滞后状态，当follower副本落后太多或失效时，leader副本会把它从ISR集合中剔除。如果OSR集合中有follower副本“追上”了leader副本，那么leader副本...
kafka 18道面试题和答案.docx
06-14
**Kafka面试题详解** 1. **如何获取Topic主题的列表？** 使用`bin/kafka-topics.sh`命令，加上`-list`参数和`--zookeeper`参数指定Zookeeper地址，例如：`bin/kafka-topics.sh -list --zookeeper localhost:2181`...
Kafka—ISR机制
最新发布
tian830937的专栏
04-07 1563
ISR机制Kafka 中的 ISR（In-Sync Replicas）机制是一种用于确保数据可靠性和一致性的重要机制。ISR 是一组副本，它包括分区的领导者（Leader）和追随者（Follower）副本，这些副本与领导者保持数据同步。
kafka原理学习
m0_60491538的博客
11-09 896
kafka原理1.什么是kafka？kafka基础架构kafka工作流程生产者生产者分区策略 1.什么是kafka？ Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 优点： kafka基础架构 Producer: kafka工作流程 生产者 生产者分区策略 ...
kafka中ISR是什么
weixin_41758726的博客
08-24 3475
一个topic可以有多个分区，多个副本(一般副本数量不大于分区数量)。一份分区下有多个副本， ISR表示目前消息量与leader相差不多的副本集合，这是整个副本集合的一个子集”。怎么去理解 可用和相差不多这两个词呢？具体来说，ISR集合中的副本必须满足两个条件 副本所在节点必须维持着与zookeeper的连接 副本最后一条消息的offset与leader副本的最后一条消息的offset之间的差值...
Kafka之ISR机制的理解
热门推荐
daima_caigou的博客
11-03 2万+
问题1：Kafka对于producer发来的数据的怎么保证可靠性？ 每个partition都给配上副本，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的是完全同步方案 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1
Kafka（四） 的 ISR 机制
qq_41982570的博客
02-27 745
Kafka 的 ISR 机制
Kafka之分区副本与ISR
cainiao1412的博客
06-14 3915
Kafka的Topic分区本质是一个用于存储Topic下的消息的日志，但是只存一份日志会因为机器损坏或其他原因导致消息丢失不可恢复，因此需要多个相同的日志作为备份，提高系统可用性，这些备份在kafka中被称为副本(replica)。kafka将分区的所有副本均匀的分配到所有broker上，并从这些副本中选取一个作为leader副本对外提供读写服务，其他副本则被称为follower副本，只能被动的向leader副本请求数据以此保持和leader副本的状态同步。在生产环境下，因为各种不可抗因素，服务可能会发生宕
2.Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
qq_39922867的博客
03-16 312
2.Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 ISR:In-Sync Replicas 副本同步队列 AR:Assigned Replicas 所有副本 ISR是由leader维护，follower从leader同步数据有一些延迟（包括延迟时间replica.lag.time.max.ms和延迟条数replica.lag.max.messages两个维度, 当前最新的版本0.1...
Kafka ISR 副本同步机制
后端进阶
11-05 6220
ISR（in-sync replica） 就是 Kafka 为某个分区维护的一组同步集合，即每个分区都有自己的一个 ISR 集合，处于 ISR 集合中的副本，意味着 follower 副本与 leader 副本保持同步状态，只有处于 ISR 集合中的副本才有资格被选举为 leader。一条 Kafka 消息，只有被 ISR 中的副本都接收到，才被视为“已同步”状态。这跟 zk 的同步机制不一样，z...
kafka中负载均衡规定了什么？
07-09
在Kafka中，负载均衡是指将消息的处理工作均匀地分布到多个消费者（Consumer）之间，以实现高吞吐量和高效的消息处理。 Kafka中的负载均衡规定了以下几个方面： 1. 分区分配（Partition Assignment）：Kafka中的主题（Topic）被划分为多个分区（Partition），每个分区可以在集群中的不同Broker上进行副本复制。负载均衡规定了如何将分区分配给消费者组（Consumer Group）中的消费者实例。常见的分区分配策略有Range、Round-robin和Sticky等。 2. 消费者组协调（Consumer Group Coordination）：Kafka中的消费者可以组成一个消费者组，共同消费一个或多个主题。负载均衡规定了消费者组协调的方式，以确保每个消费者实例都能够处理到相对均衡的分区。在负载均衡过程中，消费者组协调器会根据规定的策略重新分配分区给消费者。 3. 消费者偏移量管理（Consumer Offset Management）：消费者在处理消息时，需要记录其消费的进度，即消费者偏移量（Consumer Offset）。负载均衡规定了如何管理消费者偏移量，以确保在负载均衡发生时，新分配的消费者能够从正确的偏移量开始消费消息，避免消息的重复或丢失。 负载均衡的目标是使每个消费者实例都能够处理到相对均衡的消息负载，避免出现某些消费者负载过重而导致性能下降或延迟增加的情况。不同的负载均衡策略可以根据实际需求和系统情况进行选择和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值