kafka面试高频问题

1、如何保证kafka不丢数据

     生产端:ACK设置为-1,at_lest_once

Ack=0,相当于异步发送,消息发送完毕即offset增加,继续生产。

Ack=1,leader收到leader replica 对一个消息的接受ack才增加offset,然后继续生产。

Ack=-1,leader收到所有replica 对一个消息的接受ack才增加offset,然后继续生产。

    消费端:设置成手动提交,手动提交offset,也就是当前业务都处理完成的时候,再提交offset,这样会导致重复消费,需要提供幂等性接口

                幂等性接口,意思就是,系统A对系统B的接口进行多次调用所产生的结果和调用一次所产生的结果是一致的

2、kafka分区分配策略

    kafka内部有两种分区分配策略:Range RoundRobin

   默认是Range方式,Range是对每个Topic而言(针对topic,逐个分配),首先对同一个Topic里面的分区按照分区号进行排序,并对消费者按照字母顺序进行排序,然后Partitions分区个数除以消费者线程的总数来决定每个消费者线程消费几个分区,如果除不尽,那么前面几个消费者线程将会多消费一个分区

例如:我们有10个分区,两个消费者(C1C2),3个消费者线程,10 / 3 = 3而且除不尽。

C1-0 将消费 0, 1, 2, 3 分区

C2-0 将消费 4, 5, 6 分区

C2-1 将消费 7, 8, 9 分区

  RoundRobin分区分配策略有个前提:每个消费者订阅的主题必须相同,同一个消费者组里的所有消费者的消费者线程数必须相等;

将所有主题分区组成TopicAndPartition列表,然后对TopicAndPartition列表按照hashCode进行排序,最后按照轮询的方式发给每一个消费线程,这样不会出现每一个主题除不尽,就会导致前面部分消费者组会多分配分区的情况

3、Kafka消费数据积压,Kafka消费能力不足怎么办?

    1.如果是kafka消费能力不足,则可以考虑增加topic的分区数,并且同事提升消费者组的消费者数量,消费者数=分区数(效果最佳)

    2.如果是下游的数据处理不及时:提高每批次拉取的数量,批次拉取数据过少(拉取数据/处理时间<生成速度),使处理的数据小于生产的数据,也会造成数据积压

 

    

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
以下是一些 Kafka 高频面试题: 1. 什么是 KafkaKafka 是一个分布式流处理平台,主要用于处理实时数据流和实时数据流的存储。它使用发布/订阅模式,支持高吞吐量、持久性和容错性。 2. Kafka 的主要组件有哪些? Kafka 的主要组件包括生产者、消费者、Broker、主题、分区和副本。 3. Kafka 中的分区有什么作用? 分区是 Kafka 中的一个重要概念,它允许将主题分成多个部分,以便实现水平扩展和并行处理。每个分区都有一个唯一的标识符,称为分区 ID。 4. Kafka 的消息保证模式有哪些? Kafka 提供两种消息保证模式:at least once 和 exactly once。at least once 模式确保每条消息最少被传递一次,而 exactly once 模式确保每条消息恰好被传递一次。 5. Kafka 的消息保存策略有哪些? Kafka 的消息保存策略包括删除与保留。删除策略包括删除旧的消息和删除无用的主题,保留策略包括保留最近的消息和保留所有消息。 6. Kafka 的主题是如何分配到分区的? Kafka 使用一种称为哈希分区的算法,将主题中的消息均匀分配到分区中。该算法使用消息键和分区数来计算消息应该被分配到哪个分区中。 7. Kafka 中的消费者组是什么? 消费者组是一组消费者,用于消费同一主题的消息。Kafka 使用消费者组来实现负载平衡和故障转移。 8. Kafka 中的 ISR 是什么? ISR(In-Sync Replicas)是指与主副本同步的备份副本。当主副本失效时,ISR 中的任何一个备份副本都可以被提升为新的主副本。 9. Kafka 中的副本同步是如何实现的? Kafka 中的副本同步是通过使用复制管道来实现的。主副本将消息写入其本地日志中,并将消息发送到其所有备份副本的复制管道中。备份副本将消息写入其本地日志中,并在收到确认后将确认发送回主副本。 10. Kafka 中的消费者如何处理消息的重复? 在 at least once 模式下,消费者可能会收到重复的消息。为了避免重复处理,消费者可以使用消息的唯一标识符来检查消息是否已经被处理过。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数仓民工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值