Kafka：Producer生产者发送逻辑 - 源码

最新推荐文章于 2024-08-12 16:16:19 发布

jiecxy

最新推荐文章于 2024-08-12 16:16:19 发布

阅读量5.1k

点赞数 2

分类专栏： Kafka 文章标签： kafka producer 生产者发送逻辑源码

本文链接：https://blog.csdn.net/jiecxy/article/details/58219072

版权

本文详细解析了Kafka 0.10.1.0版本中Producer的发送流程，从KafkaProducer构造函数开始，介绍了Sender线程的工作原理，如何处理RecordAccumulator中的消息，并详细探讨了RecordAccumulator的函数逻辑，确保消息发送的顺序性和效率。

摘要由CSDN通过智能技术生成

1. 简述

注：kafka版本为0.10.1.0
本文大致梳理Producer的发送过程，若有不对请指出。
我们在使用producer客户端，基本使用方法如下：

KafkaProducer<byte[], byte[]> producer = new KafkaProducer<byte[], byte[]>(props);
producer.send(record, cb);

基本类说明：

KafkaProducer：kafka生产者客户端，用于发送消息
RecordAccumulator：用于缓存要发送的消息，做Batch
NetworkClient：底层通信客户端
Sender：用于发送RecordAccumulator中消息的线程

2. 源码 - KafkaProducer

下面从创建的 KafkaProducer 类开始，其构造函数流程如下：

初始化，读取配置，配置metrics等

创建 RecordAccumulator 缓存器

获取元数据信息 Metadata

创建底层网络客户端 NetworkClient

创建数据发送线程 Sender

完成Producer的启动

具体代码如下：

    private KafkaProducer(ProducerConfig config, Serializer<K> keySerializer, Serializer<V> valueSerializer) {
        try {
            log.trace("Starting the Kafka producer");
            Map<String, Object> userProvidedConfigs = config.originals();
            this.producerConfig = config;
            this.time = new SystemTime();

            // ...
            // 省略一些基本的初始化工作
            // ...

            // records 缓存器
            this.accumulator = new RecordAccumulator(config.getInt(ProducerConfig.BATCH_SIZE_CONFIG),
                    this.totalMemorySize,
                    this.compressionType,
                    config.getLong(ProducerConfig.LINGER_MS_CONFIG),
                    retryBackoffMs,
                    metrics,
                    time);

            // 更新元数据
            List<InetSocketAddress> addresses = ClientUtils.parseAndValidateAddresses(config.getList(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG));
            this.metadata.update(Cluster.bootstrap(addresses), time.milliseconds());

            // 创建客户端
            ChannelBuilder channelBuilder = ClientUtils.createChannelBuilder(config.values());
            NetworkClient client = new NetworkClient(
                    new Selector(config.getLong(ProducerConfig.CONNECTIONS_MAX_IDLE_MS_CONFIG), this.metrics, time, "producer", channelBuilder),
                    this.metadata,
                    clientId,
                    config.getInt(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION),
                    config.getLong(ProducerConfig.RECONNECT_BACKOFF_MS_CONFIG),
                    config.getInt(ProducerConfig.SEND_BUFFER_CONFIG),
                    config.getInt(ProducerConfig.RECEIVE_BUFFER_CONFIG),
                    this.requestTimeoutMs, time);

            // 创建发送线程，daemon形式
            // MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION = 1时，即 guaranteeMessageOrder
            this.sender = new Sender(client,
                    this.metadata,
                    this.accumulator,
                    config.getInt(ProducerConfig.MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION) == 1,
                    config.getInt(ProducerConfig.MAX_REQUEST_SIZE_CONFIG),
                    (short) parseAcks(config.getString(ProducerConfig.ACKS_CONFIG)),
                    config.getInt(ProducerConfig.RETRIES_CONFIG),
                    this.metrics,
                    new SystemTime(),
                    clientId,
                    this.requestTimeoutMs);
            String ioThreadName = "kafka-producer-network-thread" + (clientId.length() > 0 ? " | " + clientId : "");
            this.ioThread = new KafkaThread(ioThreadName, this.sender, true);
            this.ioThread.start();

            this.errors = this.metrics.sensor("errors");

            config.logUnused();
            AppInfoParser.registerAppInfo(JMX_PREFIX, clientId);
            log.debug("Kafka producer started");
        } catch (Throwable t) {
            // call close methods if internal objects are already constructed
            // this is to prevent resource leak. see KAFKA-2121
            close(0, TimeUnit.MILLISECONDS, true);
            // now propagate the exception
            throw new KafkaException(