Kafka基本知识二 replication和elect new leader

kafka读写都在一个leader, 所有的replication同步leader的LOG,并在zookeeper里面维护in-sync状态。 一个follower在in-sync列表里面有2个要求,第一和zookeeper有连接,第二必须是up-to-date,其实就是和leader的数据不能相差太远,有一个参数可以控制阀值。leader写如的数据,只要同步到了follower,并且这个follower是活着的,就意味着数据不会丢失。

那么当leader因为硬件问题crash了,如何选取新的leader呢? kafka没有使用传统的投票方式,而是采用选取in-sync列表里面有最新数据的那个follower, 那么问题又来了,如果有多个follower都具有相同数据,那么怎么选? 原理上,这些follower都可以选为new leader,官方文档好像对此并没有描述,仅仅是说这些follower都可以作为 new leader.

还有另外一种情况,如果所有的follower都crash了,leader也crash,此时会是怎样一种情形? 很显然在没有新leader之前,partition不可使用,kafka提供2种方式:


1. 等待in-sync列表里面的follower重新回到列表,并选取一个作为leader

2. 选取随便一个活着的follower,即使它不在in-sync 列表里面,

为了尽快的恢复服务,kafka默认选取第二种方式,除非 unclean.leader.election.enable 被关闭,也就是必须要求 in-sync列表里面的follower才能做为新的 leader。

上面还有问题没有解决,就是多个follower都有资格作为new leader的情况下, kafka到底是怎么处理的,目前官方文档没有给出任何解释。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: Kafkaleader和follower是指Kafka集群中的Broker节点。每个Kafka分区都有一个leader和多个follower。leader负责处理读写请求,follower则负责从leader同步数据。当leader宕机时,follower中的一个会被选举为新的leader,保证数据的可用性和一致性。 ### 回答2: Kafka 是一个分布式的高吞吐量、低延迟的消息发布订阅系统,它通过将消息分为多个分区并在多个节点上进行了复制来实现高可靠性。在Kafka中,每个分区都有一个Leader和多个Follower。 Leader 是每个分区的主节点,负责处理该分区的所有读写请求。所有与该分区的交互都必须通过Leader进行,包括生产者发送消息、消费者消费消息以及Follower节点与Leader节点之间的数据同步。Leader还负责维护分区的AR(高水位线)和HW(低水位线)等重要信息,这些信息在数据复制和消费过程中起到重要作用。 Follower 是每个分区的从节点,它负责与Leader节点进行数据同步,保持与Leader节点的数据一致性。Follower节点从Leader节点中复制所有消息,并将其存储在本地的日志文件中。Follower节点也可以处理读请求,但写请求必须转发给Leader节点。Follower节点在同步过程中可以通过增量同步和全量同步两种方式更新自身的数据。 Leader和Follower之间通过心跳机制进行连接和通信,Leader节点定期向Follower节点发送心跳消息以确认其存活状态。同时,Leader节点还会通过请求响应机制与Follower节点进行数据同步和确认。 Leader和Follower的分布式设计可以提高Kafka的可靠性和性能。当Leader节点失效时,Kafka会根据事先设置的策略自动选举新的Leader,确保系统的正常运行。Follower节点的存在使得系统能够进行水平扩展,提高了读吞吐量和容错性。 ### 回答3: Kafka是一种分布式消息队列系统,具有高可靠性和高吞吐量的特点。在Kafka中,每个分区(partition)都会有多个副本(replica)。其中,每个分区的一个副本会被指定为leader,其余的副本为follower。 Leader负责处理分区中的所有读写请求,同时负责维护分区的状态信息。所有的写操作都会先发送到leader,然后由leader负责将这些写操作同步到follower上。通过这样的方式,可以保证分区中数据的一致性。 Follower是leader的备份,负责从leader上同步数据并维护与leader的同步状态。Follower会定期从leader中拉取数据,并将其应用到本地副本中。当leader不可用时,follower有能力接管leader的读写请求,并成为新的leader。因此,follower的角色在Kafka集群中具有重要的意义,它可以提供高可用性,保证系统对外提供服务的连续性。 为了实现高可用性和容错能力,每个分区都会有多个副本(通常为三个)。这些副本中的一个被指定为leader,其余的副本作为follower。其实质是为了将数据在集群中进行冗余存储,以防止单点故障导致的数据丢失风险。当leader出现故障时,一个follower会被选举为新的leader,保证系统的正常运行。 总结来说,Kafkaleader负责处理分区的读写请求和状态信息的维护,follower则负责从leader同步数据,并在需要时接替leader的角色。这种分布式的leader和follower机制,使得Kafka能够提供高可用性和容错性能,在保证数据一致性的同时提供高性能的消息传递服务。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tom_fans

谢谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值