Kafka面试题

本文详细介绍了Kafka的基础知识,包括Kafka的两种消息队列模式、基础架构、生产者和消费者的相关内容,特别是高吞吐率的实现机制、消息的有序性和与传统消息队列的区别。此外,还探讨了Kafka如何处理消息丢失和重复问题,以及消费者组、分区策略和offset的维护等关键点。
摘要由CSDN通过智能技术生成

以下面试题主要整理自尚硅谷相关文档

1. Kafka介绍

Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。

2. 消息队列的两种模式

在这里插入图片描述

(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)

消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费以后,queue
中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会有一个消费者可以消费。

在这里插入图片描述

(2)发布/订阅模式(一对多,消费者消费数据之后不会清除消息)

消息生产者(发布)将消息发布到 topic 中,同时有多个消息消费者(订阅)消费该消息。和点对点方式不同,发布到 topic 的消息会被所有订阅者消费。

3. Kafka基础架构(☆)

在这里插入图片描述

**1)Producer :**消息生产者,就是向 kafka broker 发消息的客户端;

**2)Consumer :**消息消费者,向 kafka broker 取消息的客户端;

**3)Consumer Group (CG):**消费者组,由多个 consumer
组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者

**4)Broker :**一台 kafka 服务器就是一个 broker。一个集群由多个 broker组成。一个 broker可以容纳多个 topic。

**5)Topic :**可以理解为一个队列,生产者和消费者面向的都是一个 topic

**6)Partition:**为了实现扩展性,一个非常大的 topic 可以分布到多个broker(即服务器)上,一个 topic 可以分为多个 partition,每个 partition是一个有序的队列;

7)Replica:副本,为保证集群中的某个节点发生故障时,该节点上的 partition数据不丢失,且 kafka 仍然能够继续工作,kafka 提供了副本机制,一个 topic的每个分区都有若干个副本,一个 leader 和若干个follower

**8)leader:**每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是leader。

**9)follower:**每个分区多个副本中的“从”,实时从 leader 中同步数据,保持和leader

Kafka 面试题及答案可以包括以下内容: 1. Kafka 是什么?它的主要特点是什么? Kafka 是一个分布式流处理平台,主要用于处理实时数据流。它的主要特点包括高吞吐量、可扩展性、持久性、容错性和可靠性。 2. Kafka 的消息传递模型是什么? Kafka 的消息传递模型是基于发布-订阅模式的,生产者将消息发布到一个或多个主题(topic),而消费者则订阅这些主题并接收消息。 3. Kafka 的核心组件有哪些? Kafka 的核心组件包括生产者(Producer)、消费者(Consumer)、主题(Topic)、分区(Partition)和代理(Broker)。 4. Kafka 的消息是如何保证可靠性传递的? Kafka 通过将消息持久化到磁盘上的日志文件来保证可靠性传递。生产者将消息写入日志文件后即可返回成功,而消费者可以根据自己的需求灵活地消费消息。 5. Kafka 的数据复制机制是怎样的? Kafka 使用副本机制来实现数据的冗余备份。每个分区都有一个主副本和多个副本,主副本负责处理读写请求,而其他副本则用于备份和容错。 6. Kafka 的消息顺序性如何保证? Kafka 保证每个分区内的消息顺序性,即同一个分区内的消息按照发送的顺序进行存储和消费。不同分区之间的消息顺序性不能保证。 7. Kafka 的消费者如何处理消息的偏移量? Kafka 的消费者可以手动管理消息的偏移量,也可以使用消费者组(Consumer Group)来自动管理偏移量。消费者组可以协同工作,确保每个消息只被消费一次。 这些是一些常见的 Kafka 面试题及答案,希望对你有帮助!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值