Kafka生产者如何提高吞吐量

飞Link

已于 2022-11-15 17:00:44 修改

阅读量1.2k

点赞数 1

分类专栏：大数据文章标签： kafka java 分布式

于 2022-06-14 16:56:05 首次发布

本文链接：https://blog.csdn.net/feizuiku0116/article/details/125281768

版权

大数据专栏收录该内容

201 篇文章 9 订阅

订阅专栏

一、影响Kafka生产者吞吐量因素

batch.size: 批次大小，默认16K
linger.ms: 等待时间，默认为0，修改为5-100ms
compression.type: 压缩，默认none，修改为snappy
RecordAccumulator: 缓冲区大小，默认32m，修改为64m

二、Kafka生产者Java实现

import com.sun.org.apache.bcel.internal.generic.NEW;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.protocol.types.Field;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class CustomProducerParameters {
    public static void main(String[] args) {
        // 1.创建kafka生产者的配置对象
        Properties properties = new Properties();
        // 2.给kafka配置对象添加配置信息
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"node1:9092");
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        // batch.size:批次大小，默认16K
        properties.put(ProducerConfig.BATCH_SIZE_CONFIG,16384);
        // linger.ms:等待时间，默认0，修改为20ms
        properties.put(ProducerConfig.LINGER_MS_CONFIG,20);
        // RecordAccumulator:缓冲区大小，默认32M，buffer.memory，修改为64m
        properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,67108864);
        // compression.type:压缩，默认none，可配置值gzip、snappy、lz4和zstd，修改为snappy
        properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");
        // 3.创建kafka生产者对象
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);
        // 4.调用send方法，发送消息
        for (int i=0;i<5;i++){
            kafkaProducer.send(new ProducerRecord<>("first","testMessage"+i));
        }
        // 5.关闭资源
        kafkaProducer.close();
    }
}