kafka发送者与消费者参数详解

最新推荐文章于 2024-02-02 01:04:28 发布

 沙皮狗的忧伤

最新推荐文章于 2024-02-02 01:04:28 发布

阅读量880

点赞数

分类专栏： mq 文章标签： kafka java 分布式

本文链接：https://blog.csdn.net/ClearLove6/article/details/126527143

版权

本文详细介绍了Kafka的发送端与消费端参数配置，包括BOOTSTRAP_SERVERS_CONFIG、ACKS_CONFIG、RETRIES_CONFIG等关键参数，以及同步和异步发送消息的方法。同时，还提供了完整的Java代码示例，展示了如何创建KafkaProducer和KafkaConsumer，以及不同方式的消费消息策略，如普通消费、指定分区消费、消息回溯和时间点消费等。

摘要由CSDN通过智能技术生成

kafka发送端

全量代码示例

private final static String TOPIC_NAME = "my-replicated-topic"; public static void main(String[] args) throws InterruptedException, ExecutionException { Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.65.60:9092,192.168.65.60:9093,192.168.65.60:9094"); props.put(ProducerConfig.ACKS_CONFIG, "1"); props.put(ProducerConfig.RETRIES_CONFIG, 3); props.put(ProducerConfig.RETRY_BACKOFF_MS_CONFIG, 300); props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432); props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384); props.put(ProducerConfig.LINGER_MS_CONFIG, 10); props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName()); Producer<String, String> producer = new KafkaProducer<String, String>(props); int msgNum = 5; final CountDownLatch countDownLatch = new CountDownLatch(msgNum); for (int i = 1; i <= msgNum; i++) { Order order = new Order(i, 100 + i, 1, 1000.00); ProducerRecord<String, String> producerRecord = new ProducerRecord<String, String>(TOPIC_NAME , order.getOrderId().toString(), JSON.toJSONString(order)); RecordMetadata metadata = producer.send(producerRecord).get(); System.out.println("同步方式发送消息结果：" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset()); //异步回调方式发送消息 /*producer.send(producerRecord, new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception != null) { System.err.println("发送消息失败：" + exception.getStackTrace()); } if (metadata != null) { System.out.println("异步方式发送消息结果：" + "topic-" + metadata.topic() + "|partition-" + metadata.partition() + "|offset-" + metadata.offset()); } countDownLatch.countDown(); } });*/ } countDownLatch.await(5, TimeUnit.SECONDS); producer.close(); }

ProducerConfig

BOOTSTRAP_SERVERS_CONFIG

示例：

props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.65.60:9092,192.168.65.60:9093,192.168.65.60:9094");

集群连接的ip+端口

ACKS_CONFIG

示例：

props.put(ProducerConfig.ACKS_CONFIG, "1");

发出消息持久化机制参数

acks=0：表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息
acks=1：至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发送下一条消息。这种情况下，如果follower没有成功备份数据，而此时leader又挂掉，则消息会丢失