kafka 0.10.0.1 consumer源码解析

消费者源码解析，基于0.10.0.1版本

初始化 consumer 对象

// 主要初始化的几个组件：new几个对象，NetworkClient、ConsumerCoordinator、Fetcher
new KafkaConsumer<String, String>(properties);

拉取数据

ConsumerRecords<String, String> records = kafkaConsumer.poll(5000);
    // 核心方法：
    org.apache.kafka.clients.consumer.KafkaConsumer#pollOnce
        // 确保 coordinator 准备好，确定哪台服务器是 coordinator
        coordinator.ensureCoordinatorReady();
        org.apache.kafka.clients.consumer.internals.AbstractCoordinator#ensureCoordinatorReady
            // 寻找该组对应的 coordinator，返回一个 future 对象，之后对该对象进行轮询，直到拿到返回值。拿到返回值后判断 coordinator 是否正常
            org.apache.kafka.clients.consumer.internals.AbstractCoordinator#sendGroupCoordinatorRequest
                // 寻找一台负载较低，未完成请求比较少的节点，连接该节点获取coordinator
                Node node = this.client.leastLoadedNode();
                return client.send(node, ApiKeys.GROUP_COORDINATOR, metadataRequest)
                .compose(new RequestFutureAdapter<ClientResponse, Void>() {
                    @Override
                    public void onSuccess(ClientResponse response, RequestFuture<Void> future) {
                        // 根据服务端返回的相应信息，封装coordinator
                        handleGroupMetadataResponse(response, future);
                            // start sending heartbeats only if we have a valid generation
                            if (generation > 0)
                                // 开启心跳任务
                                heartbeatTask.reset();
                                    // 执行任务调度
                                    client.schedule(this, now)