Kafka源码之KafkaConsumer分析之ConsumerNetworkClient

最新推荐文章于 2022-08-31 16:28:08 发布

赵银龙

最新推荐文章于 2022-08-31 16:28:08 发布

阅读量1k

点赞数

分类专栏： Kafka

本文链接：https://blog.csdn.net/m0_37343985/article/details/83473648

版权

本文详述KafkaConsumer的核心方法，包括subscribe、assign、commit、seek、poll、pause/resume，重点剖析ConsumerNetworkClient如何基于NetworkClient进行封装，提供定时任务队列、元数据管理和发送请求等功能。通过trySend、poll方法分析请求发送、超时处理及中断检查流程。

摘要由CSDN通过智能技术生成

我们先来看一下KafkaConsumer几个核心的方法：
subscribe：订阅指定的Topic，并为消费者消费者自动分配分区
assign：用户手动指定的Topic，并且指定消费的分区。
commit：提交消费者已经完成的offset
seek：指定消费者起始消费的位置
poll：负责从服务端获取消息
pause/resume：暂停/继续Consumer
在之前我们介绍了NetworkClient的实现，它依赖于KSelector，InFlightRequests、Metadata等组件，负责管理客户端于Kafa集群中各个Node节点之间的连接，通过KSelector法实现了发送请求的功能，并通过一系列的handle方法处理请求的响应、超时请求以及断线重连。ConsumerNetworkClient在NetworkClient上进行了封装，提供了更高级的功能和更易用的API：
client：NetworkClient对象
delayedTasks：定时任务队列
metadata：用于管理Kafka集群元数据
unsent：缓冲队列
unsentExpiryMs：ClientRequest在unsent中缓存的超时时长
wakeup：由调用KafkaConsumer对象的消费者线程之外的其他线程设置，表示要中断KafkaConsumer线程
wakeupDisabledCount：KafkaConsumer是否正在执行不可中断的方法。
下面看他的几个核心方法：

private boolean trySend(long now) {
        boolean requestsSent = false;
        //遍历unsent集合
        for (Map.Entry<Node, List<ClientRequest>> requestEntry: unsent.entrySet()) {
        	//获取节点
            Node node = requestEntry.getKey();
            //获取要发往这个节点的请求集合
            Iterator<ClientRequest> iterator = requestEntry.getValue().iterator();
            while (iterator.hasNext()) {
                ClientRequest request &#