大数据面试(二):Kafka面试题

本文深入探讨了Kafka作为消息队列在大数据中的应用,详细解释了Kafka的集群架构、消费者组、Topic与Partition、数据安全、Segment、Offset等关键概念,并阐述了Kafka在数据生产和消费时确保数据不丢失、不重复的策略。同时,还介绍了自定义分区规则和消费数据的规则,以及Kafka如何通过AR、ISR、OSR、HW、LEO等机制确保数据一致性。
摘要由CSDN通过智能技术生成

在这里插入图片描述

面试题 01 什么是消息队列?

消息队列就是用于当两个系统之间或者两个模块之间实现消息传递时,基于队列机制实现数据缓存的中间件

面试题 02 消息队列有什么好处?

•实现解耦,将高耦合转换为低耦合
•通过异步并发,提高性能,并实现最终一致性

面试题03、Kafka是什么?

•Kafka是一个基于订阅发布模式的高性能、高吞吐的实时消息队列系统

面试题04、Kafka在大数据中用于什么场景下?

•用于实时架构中,实现将实时数据采集的数据进行实时存储,供于SparkStreaming或者Flink等工具实现实时数据消费处理

面试题05、请简述Kafka的集群架构

•Kafka是一个分布式主从架构集群
–主节点:Kafka Controller:一种特殊的Broker,由ZK辅助实现从所有Broker中选举,负责集群管理,管理Topic及分区副本等
–从节点:Kafka Broker:负责实现Kafka集群的数据存储
•Kafka依赖于Zookeeper实现集群辅助管理
–基于Zookeeper辅助选举Controller
–基于Zookeeper存储元数据

面试题 06 Kafka中消费者与消费者组的关系是什么?

•消费者组负责订阅Topic,消费者负责消费Topic分区的数据
•消费者组中可以包含多个消费者,多个消费者共同消费数据,增加消费并行度,提高消费性能
•消费者组的id由开发者指定,消费者的id由Kafka自动分配

面试题07、Kafka中Topic和Partition是什么,如何保证Partition数据安全?

•Topic

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值