import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Properties;
public class CustomProducerParameters {
public static void main(String[] args) {
// 0 配置
Properties properties = new Properties();
// 连接kafka集群
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"192.168.25.129:9092,192.168.25.128:9092");
// 序列化
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
// 缓冲区大小 默认32m 分区越多适当提高一般为64m
properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432);
// 批次大小 默认为16k 一般写32k
properties.put(ProducerConfig.BATCH_SIZE_CONFIG,16384);
// 等待时间 单位ms 默认为0,即为以来消息就向Kafka发送消息,减少延迟;一般写为5-100之间
properties.put(ProducerConfig.LINGER_MS_CONFIG, 1);
// 压缩
properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");
// 1 创建生产者
// KafkaProducer<K, V>
// 泛型K为key一般为String类型 泛型V为传递消息的类型,此处发送字符串用String类型
// 下列发送数据即为 “” “hello ”
KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);
// 2 发送数据
for (int i = 0; i < 5; i++) {
kafkaProducer.send(new ProducerRecord<>("test","hello"+i));
}
// 3 关闭资源
kafkaProducer.close();
}
}
Kafka:提高生产者吞吐量
于 2023-03-19 21:55:45 首次发布