多图详解kafka生产者消息发送过程

90后小伙追梦之路

已于 2022-07-29 16:02:09 修改

阅读量519

点赞数

分类专栏： java 面试后端文章标签： kafka java 分布式 redis 架构

于 2022-07-29 16:02:08 首次发布

本文链接：https://blog.csdn.net/m0_67322837/article/details/126057932

版权

本文详细分析了Kafka生产者从构造到发送消息的完整流程，包括构造KafkaProducer、生产者元信息更新、拦截器、分区器、Sender线程启动和发送请求的各个环节。讲解了拦截器的配置与作用、元信息更新的机制、消息序列化、分区计算、RecordAccumulator缓存以及Sender如何选择节点发送消息。通过对源码的解读，揭示了Kafka Producer内部的工作原理。

摘要由CSDN通过智能技术生成

@[TOC] 今天我们来通过源码来分析一下,生产者发送一条消息的所有流程~~~

生产者客户端代码

public class SzzTestSend {

    public static final String bootStrap = "xxxxxx:9090";
    public static final String topic = "t_3_1";

    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,bootStrap);
        // 序列化协议  下面两种写法都可以
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");
        //过滤器 可配置多个用逗号隔开
        properties.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG,"org.apache.kafka.clients.producer.SzzProducerInterceptorsTest");
        //构造 KafkaProducer
        KafkaProducer producer = new KafkaProducer(properties);
        //  发送消息, 并设置 回调(回调函数也可以不要)
        ProducerRecord<String,String> record = new ProducerRecord(topic,"Hello World!");
        try {
            producer.send(record,new SzzTestCallBack(record.topic(), record.key(), record.value()));
        }catch (Exception e){
            e.printStackTrace();
        }
    }

    /**
     * 发送成功回调类
     */
    public static class SzzTestCallBack implements Callback{
        private static final Logger log = LoggerFactory.getLogger(SzzTestCallBack.class);
        private String topic;
        private String key;
        private String value;

        public SzzTestCallBack(String topic, String key, String value) {
            this.topic = topic;
            this.key = key;
            this.value = value;

        }
        public void onCompletion(RecordMetadata metadata, Exception e) {
            if (e != null) {
                log.error("Error when sending message to topic {} with key: {}, value: {} with error:",
                        topic, key,value, e);
            }else {
                log.info("send message to topic {} with key: {} value:{} success, partiton:{} offset:{}",
                        topic, key,value,metadata.partition(),metadata.offset());
            }
        }
    }
}

复制代码

构造KafkaProducer

KafkaProducer通过解析producer.propeties文件里面的属性来构造自己。例如：分区器、Key和Value序列化器、拦截器、RecordAccumulator消息累加器、元信息更新器、启动发送请求的后台线程

        //构造 KafkaProducer
        KafkaProducer producer = new KafkaProducer(properties);
复制代码

生产者元信息更新器

我们之前有讲过. 客户端都会保存集群的元信息,例如生产者的元信息是 ProducerMetadata. 消费组的是ConsumerMetadata 。

元信息都会有自己的自动更新逻辑, 详细请看Kafka的客户端发起元信息更新请求

相关的Producer配置有:

属性	描述	默认
metadata.max.age.ms	即使我们没有看到任何分区领导层更改以主动发现任何新代理或分区，我们也强制刷新元数据的时间段（以毫秒为单位）。。	300000(5分钟)
retry.backoff.ms	如果上次更新失败,发起重试的间隔时间	100

虽然Producer元信息会自动更新, 但是有可能在生产者发送消息的时候,发现某个TopicPartition不存在,这个时候可能就需要立刻发起一个元信息更新了。

生产者拦截器

生产者拦截器在消息发送之前可以做一些准备工作, 比如按照某个规则过滤某条消息, 又或者对消息体做一些改造, 还可以用来在发送回调逻辑之前做一些定制化的需求,例如统计类的工作! 拦截器的执行时机在最前面,在消息序列化和分区计算之前

相关的Producer配置有:

属性	描述	默认
interceptor.classes	生产者拦截器配置,填写全路径类名,可用逗号隔开配置多个,执行顺序就是配置的顺序。	空

生产者分区器

用来设置发送的消息具体要发送到哪个分区上

相关的Producer配置有:

属性	描述	默认值
partitioner.class	消息的分区分配策略	org.apache.kafka.clients.producer.internals.DefaultPartitioner

Sender线程启动

Sender是专门负责将消息发送到Broker的I/O线程。

相关的Producer配置有:

属性	描述	默认值
max.in.flight.requests.per.connection	客户端能够允许的最大未完成请求(在请求中)的请求数量, 如果该值大于1, 并且请求发送失败可可能导致消息重排序的风险(如果重试启用的话)	5
request.timeout.ms	控制客户端等待请求响应的最长时间。如果在超时之前没有收到响应，客户端将在必要时重新发送请求，或者如果重试次数用尽，则请求失败	30000（30 秒）
connections.max.idle.ms	在此配置指定的毫秒数后关闭空闲连接。	540000（9 分钟）
reconnect.backoff.ms	在尝试重新连接到给定主机之前等待的基本时间量。这避免了在紧密循环中重复连接到主机。此退避适用于客户端到代理的所有连接尝试	50
reconnect.backoff.max.ms	重新连接到反复连接失败的代理时等待的最长时间（以毫秒为单位）。如果提供，每台主机的退避将在每次连续连接失败