kafka broker(1)，送大厂面经一份

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

1. 连接入口：当客户端（如KafkaProducer或KafkaConsumer）需要与Kafka集群建立连接时，它们需要知道至少一个broker的地址。bootstrap-servers参数提供了这个入口点，允许客户端与Kafka集群进行初始连接。
2. 元数据获取：一旦客户端连接到bootstrap-servers指定的broker，它会从这个broker获取集群的元数据信息。这些元数据包括集群中其他broker的地址、分区信息等。这样，客户端就能知道如何与集群中的其他部分进行交互。
3. 故障恢复：如果由于某些原因（如网络问题或broker宕机），客户端与当前连接的broker断开，它可以使用bootstrap-servers参数中提供的地址重新连接到集群，并获取最新的broker地址信息和元数据。

**综上所述，bootstrap-servers是Kafka客户端连接集群、获取元数据和进行故障恢复的关键参数。**通过正确配置和使用这个参数，可以确保Kafka客户端能够有效地与集群进行交互，实现高效、可靠的消息传递。

二、Kafka client发送消息

Kafka client知道往哪个broker发送消息的过程涉及多个步骤和组件的协同工作。以下是一个简化的概述：

1. Bootstrap Servers：Kafka client在初始化时，通过配置bootstrap.servers参数提供一组初始的broker地址。这些地址通常是Kafka集群中部分或全部broker的地址列表。client首先尝试与这些bootstrap servers建立连接。
2. 元数据请求：一旦client与bootstrap servers建立连接，它会发送元数据请求以获取集群的元数据信息。这些元数据包括集群中所有broker的地址、topic的分区信息以及每个分区的leader副本所在的broker等。
3. 确定目标分区：生产者（Producer）在发送消息前，需要确定消息要发送到的目标分区。这可以通过多种策略实现，如基于消息的键进行哈希、使用自定义分区器等。
4. 查找分区Leader：一旦确定了目标分区，生产者会从之前获取的元数据信息中查找该分区的leader副本所在的broker。所有读写操作都是与leader副本进行的。
5. 发送消息：生产者将消息直接发送到目标分区的leader副本所在的broker。如果leader副本发生变更（例如由于故障转移），生产者会重新获取元数据并更新其内部缓存，以确保将消息发送到正确的leader副本。
6. 重试和故障恢复：如果生产者尝试发送消息到某个broker时失败（例如由于网络问题或broker宕机），它会根据配置进行重试。在重试过程中，生产者可能会使用bootstrap servers或其他已知的broker地址来重新建立连接并发送消息。

需要注意的是，Kafka client与broker之间的连接是动态管理的。随着集群状态的变化（如broker的加入、离开或故障转移），client会不断更新其内部缓存的元数据，以确保与正确的broker进行通信。

此外，Kafka client还使用各种机制来优化性能和可靠性，如连接池管理、批量发送、重试策略等。这些机制共同确保Kafka client能够高效地将消息发送到正确的broker。

三、Kafka如何处理一条消息

在Kafka的broker集群中，如果一条消息到达了一个broker节点，但该节点并不是目标分区的leader节点，那么这条消息需要被转发到相应的leader节点进行处理。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**