Kafka 设计之副本和 Leader 选举

流华追梦

已于 2024-05-23 08:10:46 修改

阅读量1.6k

点赞数 33

分类专栏： Kafka 文章标签： kafka 副本 Quorums ISRs 状态机 Unclean Leader 副本管理

于 2024-03-10 07:30:00 首次发布

本文链接：https://blog.csdn.net/mrluo735/article/details/136211729

版权

Kafka 专栏收录该内容

56 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

Kafka的副本分为领导者副本和追随者副本，所有读写请求由领导者处理。当领导者失效时，Kafka依赖ZooKeeper进行新的选举。副本管理确保在节点故障时保持可用性与耐久性，通过ISR（In-Sync Replicas）维护同步副本。Unclean Leader选举是当所有副本都失效时的选择，可能会牺牲一致性。Kafka提供了配置选项来平衡可用性和一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. 前言

二. 副本（Replication）

三. 复制日志：Quorums，ISRs，和状态机制

四. Unclean leader 选举：如果他们都死了怎么办？

五. 可用性和耐久性保证（Availability and Durability Guarantees）

六. 副本管理（Replica Management）

一. 前言

在 Kafka 中，副本分成两类：领导者副本（Leader Replica）和追随者副本（Follower Replica）。每个分区在创建时都要选举一个副本，称为领导者副本，其余的副本自动称为追随者副本。

Kafka 的副本机制比其他分布式系统要更严格一些。在 Kafka 中，追随者副本是不对外提供服务的。这就是说，任何一个追随者副本都不能响应消费者和生产者的读写请求。所有的请求都必须由领导者副本来处理，或者说，所有的读写请求都必须发往领导者副本所在的 Broker，由该 Broker 负责处理。追随者副本不处理客户端请求，它唯一的任务就是从领导者副本异步拉取消息，并写入到自己的提交日志中，从而实现与领导者副本的同步。

当领导者副本挂掉了，或者说领导者副本所在的 Broker 宕机时，Kafka 依托于 ZooKeeper 提供的监控功能能够实时感知到，并立即开启新一轮的领导者选举，从追随者副本中选一个作为新的领导者。老 Leader 副本重启回来后，只能作为追随者副本加入到集群中。