Kafka 客户端是如何找到 leader 分区的

《数据驱动：从方法到实践》送书活动今天下午18:00截止了，详情请点击 【福利】文末评论免费送《数据驱动：从方法到实践》

如下面图片不清晰，请访问https://www.iteblog.com/archives/2215.html，或点击下面阅读原文进行阅读。

在正常情况下，Kafka中的每个Topic都会有很多个分区，每个分区又会存在多个副本。在这些副本中，存在一个leader分区，而剩下的分区叫做 follower，所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写消息或者从Kafka读取消息的时候，必须先找到对应分区的Leader及其所在的Broker地址，这样才可以进行后续的操作。本文将要介绍的就是 Kafka 是如何找到 leader 分区的。

我们知道， Kafka 是使用 Scala 语言编写的，但是其支持很多语言的客户端，包括：C/C++、PHP、Go以及Ruby等等（参见https://cwiki.apache.org/confluence/display/KAFKA/Clients）。这是为什么呢？这是因为 Kafka 内部实现了一套基于TCP层的协议，只要使用这种协议与Kafka进行通信，就可以使用很多语言来操作Kafka。

目前 Kafka 内部支持多达30多种协议，本文介绍的 Kafka 客户端是如何找到 leader 分区就涉及到 Kafka 内部的 Metadata 协议。Metadata 协议主要解决以下四种问题：

• Kafka中存在哪些主题？

• 每个主题有几个分区？

• Leader分区所在的broker地址及端口？

• 每个broker的地址及端口是多少？

客户端只需要构造相应的请求，并发送到Broker端，即可获取到上面四个问题的答案。整个过程如下：

• 客户端构造相应的请求

• 客户端将请求发送到Broker端

• Broker端接收到请求处理，并将结果发送到客户端。

Metadata 请求协议（v0-v3版本）如下：

目前 Metadata 请求协议存在五个版本，v0-v3版本格式一致。但是这些协议存在一个问题：当 Kafka 服务器端将 auto.create.topics.enable 参数设置为 ture 时，如果我们查询的主题不存在，Kafka 将会自动创建这个主题，这很可能不是我们想要的结果。所以，基于这个问题