kafka的ISR

在 Kafka 中，ISR（In-Sync Replicas，同步副本集合）是一个非常重要的概念，它用于确保数据的高可用性和一致性。

定义

ISR 是指那些与 Leader 副本保持同步的副本集合。在 Kafka 中，每个分区都有一个 Leader 和若干个 Follower 副本，Leader 副本负责处理所有的读写请求，而 Follower 副本则复制 Leader 的数据以保证数据的冗余和高可用性。

详细描述

ISR 集合包含了所有与 Leader 副本保持同步的副本。只有在 ISR 集合中的副本才被认为是同步的，能够在 Leader 副本故障时快速接替成为新的 Leader。

Leader 和 Follower

• Leader：负责处理客户端的读写请求。
• Follower：从 Leader 复制数据，并且只有当它们与 Leader 的数据保持同步时，才会被包含在 ISR 集合中。

ISR 的维护

Kafka 通过以下机制维护 ISR 集合：

1. 定期心跳：Follower 副本会定期向 Leader 副本发送心跳消息，表示它们仍然活跃并且与 Leader 同步。
2. 复制滞后：如果一个 Follower 副本落后于 Leader 副本的进度超过一定阈值（由参数 replica.lag.time.max.ms 控制），它将被移出 ISR 集合。
3. 重新加入：当一个 Follower 副本重新赶上 Leader 副本的进度时，它会被重新加入 ISR 集合。

配置参数

以下是一些与 ISR 相关的重要配置参数：

1. replica.lag.time.max.ms：Follower 副本与 Leader 副本落后多长时间后会被移出 ISR 集合。
2. min.insync.replicas：在生产者设置 acks=all 时，要求消息必须被写入至少 min.insync.replicas 个副本才会被认为是成功的。这可以确保在某些副本失效的情况下，数据仍然是可用的。

示例

假设有一个 Kafka 集群，分区 P1 有 3 个副本：R1、R2 和 R3，其中 R1 是 Leader，R2 和 R3 是 Follower。

• 正常情况：R1、R2 和 R3 都与 Leader 副本 R1 同步，那么 ISR 集合是 [R1, R2, R3]。
• R2 落后：如果 R2 因为某种原因与 R1 的同步滞后超过 replica.lag.time.max.ms，它将被移出 ISR 集合，此时 ISR 集合是 [R1, R3]。
• R2 重新同步：如果 R2 重新赶上 R1 的进度，它会被重新加入 ISR 集合，恢复为 [R1, R2, R3]。

重要性

ISR 的管理对 Kafka 系统的高可用性和数据一致性至关重要：

• 容错性：即使 Leader 副本故障，也可以从 ISR 集合中选出一个新的 Leader，保证系统的高可用性。
• 数据一致性：通过确保只有 ISR 集合中的副本才能成为新的 Leader，Kafka 可以保证数据的一致性。

总结

ISR（In-Sync Replicas）是 Kafka 中用于管理和确保数据高可用性和一致性的重要机制。通过维护与 Leader 副本同步的副本集合，Kafka 可以在副本故障时快速恢复，同时确保数据的一致性。理解和正确配置 ISR 相关参数对于 Kafka 集群的稳定运营至关重要。