Kafka之producer发送消息至topic流程

最新推荐文章于 2024-09-07 23:09:45 发布

bboy66

最新推荐文章于 2024-09-07 23:09:45 发布

阅读量3.3k

点赞数

分类专栏：大数据 MQ kafka 文章标签： kafka

本文链接：https://blog.csdn.net/bboy66/article/details/124427192

版权

大数据同时被 3 个专栏收录

10 篇文章 1 订阅

订阅专栏

kafka

5 篇文章 0 订阅

订阅专栏

4 篇文章 0 订阅

订阅专栏

1.producer生产端send了消息是不是立马投递到topic中呢？

        // 生产者缓存每个分区未发送的消息,缓存的大小是通过 batch.size 配置指定的，默认值是16KB
        props.put("batch.size", 16384);

        /**
         * 默认值就是0，消息是立刻发送的，即便batch.size缓冲空间还没有满
         * 如果想减少请求的数量，可以设置 linger.ms 大于0，即消息在缓冲区保留的时间，超过设置的值就会被提交到服务端
         * 通俗解释是，本该早就发出去的消息被迫至少等待了linger.ms时间，相对于这时间内积累了更多消息，批量发送减少请求
         * 如果batch被填满或者linger.ms达到上限，满足其中一个就会被发送
         */
        props.put("linger.ms", 100);

我们需要对producer进行配置，当缓存达到我们设置的值16kb的时候，或者是每隔0.1秒，两者满足其一都会提交消息之服务端。

即：Kafka的生产端发送数据到服务器，不是来一条就发一条，会经过内存缓冲区（默认是16KB），通过KafkaProducer发送出去的消息都是先进入到生产端本地的内存缓冲里，然后把很多消息收集到的Batch里面，再一次性发送到Broker上去的，这样性能才可能提高

2.topic中有多个分区，producer生产端send消息是存到了哪个partition中呢？

如果指定Partition ID,则PR被发送至指定Partition (ProducerRecord)
如果未指定Partition ID,但指定了Key, PR会按照hash(key)发送至对应Partition
如果未指定Partition ID也没指定Key，PR会按照默认 round-robin轮训模式发送到每个Partition
如果同时指定了Partition ID和Key, PR只会发送到指定的Partition (Key不起作用，代码逻辑决定)
注意：Partition有多个副本，但只有一个replicationLeader负责该Partition和生产者消费者交互