大数据面试题:Kafka的ISR机制

面试题来源:

《大数据面试题 V4.0》

大数据面试题V3.0,523道题,679页,46w字

可回答:1)从ISR踢出去之后呢;2)一般Leader怎么判断Follower挂掉?

参考答案:

ISR(In-Sync Replicas):副本同步队列

ISR是Leader维护的一个动态副本同步队列,是和Leader保持同步的Follower集合。Kafka通过多副本来保证消息不丢失。

每一个Leader partition都有一个ISR,Leader动态维护,要保证Kafka不丢失message,就要保证ISR这组集合存活(至少有一个存活),并且消息commit成功。Partition Leader保持同步的Partition Follower集合,当ISR中Partition Follower完成数据的同步之后,就会给Leader发送ack。如果Partition Follower长时间(replica.lag.time.max.ms,默认10s)未向Leader同步数据,则该Partition Follower将被踢出ISR,存入OSR(Outof-Sync Replicas)列表(AR = ISR + OSR,AR(Assigned Repllicas):一个partition的所有副本(就是replica,不区分Leader或Follower)),新加入的Follower也会先存放在OSR中。Partition Leader发生故障之后,就会从ISR中选举新的Partition Leader。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当面试官问到大数据Kafka面试题,可能会涉及以下几个方面的内容: 1. Kafka的基本概念和特点: - Kafka是一个分布式流处理平台,用于高吞吐量的实时数据传输。 - Kafka采用发布-订阅模式,消息以topic为单位进行发布和订阅。 - Kafka具有高可靠性、可扩展性和持久性等特点。 2. Kafka的架构和组件: - Kafka集群由多个broker组成,每个broker负责存储和处理消息。 - 每个topic可以分为多个分区,每个分区可以在不同的broker上进行复制。 - 生产者将消息发布到指定的topic,消费者从指定的topic订阅消息。 3. Kafka的消息传输和存储: - Kafka使用消息日志的方式存储消息,每个分区都有一个对应的日志文件。 - 生产者将消息追加到分区的日志文件末尾,消费者按照偏移量顺序读取消息。 - Kafka支持消息的持久化存储,并且可以根据配置进行数据的保留和清理。 4. Kafka的高可用和容机制: - Kafka通过副本机制实现高可用性,每个分区可以有多个副本。 - 副本之间通过ISR(In-Sync Replicas)机制保持同步,确保数据的一致性。 - 当某个broker宕机时,Kafka会自动将其上的分区副本迁移到其他可用的broker上。 5. Kafka的性能调优和监控: - 可以通过调整Kafka的参数来提高性能,如调整分区数、批量发送消息等。 - 监控Kafka集群的健康状态,包括吞吐量、延迟、存储空间等指标。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值