Kafka 的 Java 消费者如何管理 TCP 连接？

最新推荐文章于 2022-09-21 10:19:04 发布

qq_53294028

最新推荐文章于 2022-09-21 10:19:04 发布

阅读量458

点赞数

分类专栏：消息队列

本文链接：https://blog.csdn.net/qq_43277087/article/details/111678358

版权

KafkaConsumer在调用poll方法时创建TCP连接。连接包括：FindCoordinator请求、连接协调者和消费数据。消费者根据分区领导者副本创建相应TCP连接，连接由connection.max.idle.ms参数控制自动关闭。在持续调用poll时实现长连接效果。

摘要由CSDN通过智能技术生成

何时创建 TCP 连接？

和生产者不同的是，构建 KafkaConsumer 实例时是不会创建任何 TCP 连接的，TCP 连接是在调用 KafkaConsumer.poll 方法时被创建的。再细粒度地说，在 poll 方法内部有 3 个时机可以创建 TCP 连接。

1.发起 FindCoordinator 请求时。

Coordinator是消费者端的一个组件，驻留在 Broker 端的内存中，负责消费者组的组成员管理和各个消费者的位移提交管理。当消费者程序首次启动调用 poll 方法时，它需要向 Kafka 集群发送一个名为 FindCoordinator 的请求，希望 Kafka 集群告诉它哪个 Broker 是管理它的协调者。

消费者应该向哪个 Broker 发送这类请求呢？理论上任何一个 Broker 都能回答这个问题，也就是说消费者可以发送 FindCoordinator 请求给集群中的任意服务器。kafka的优化是，消费者程序会向集群中当前负载最小的那台 Broker 发送请求。负载是如何评估的呢？看消费者连接的所有 Broker 中，谁的待发送请求最少。这种评估显然是消费者端的单向评估，并非是站在全局角度，因此有的时候也不一定是最优解。

2.连接协调者时。

Broker 处理完上一步发送的 FindCoordinator 请求之后，会返还对应的响应结果（Response），显式地告诉消费者哪个 Broker 是真正的协调者，消费者知晓了真正的协调者后，会创建连向该 Broker 的 Socket 连接。只有成功连入协调者，协调者才能开启正常的组协调操作，比如加入组、等待组分配方案、心跳请求处理、位移获取、位移提交等。

3.消费数据时。

消费者会为每个要消费的分区创建与该分区领导者副本所在 Broker 连接的 TCP。假设消费者要消费 5 个分区的数据，这 5 个分区各自的领导者副本分布在 4 台 Broker 上，那么该消费者在消费时会创建与这 4 台 Broker 的 Socket 连接。

那么消费者总共创建多少个 TCP 连接？

[2019-05-27 10:00:54,142] DEBUG [Consumer clientId=consumer-1, groupId=test] Initiating connection to node localhost:9092 (id: -1 rack: null) using address localhost/127.0.0.1 (org.apache.kafka.clients.NetworkClient:944)

…

[2019-05-27 10:00:54,188] DEBUG [Consumer clientId=consumer-