Kafka异步发送数据

原创已于 2022-11-15 17:02:04 修改 · 2.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #java #分布式

于 2022-06-10 17:38:47 首次发布

Water 专栏收录该内容

937 篇文章

订阅专栏

本文介绍了如何使用Java实现Apache Kafka的异步消息发送，包括不带回调函数的简单发送和带有回调函数的异步发送。通过配置Kafka生产者，设置序列化方式，并使用send方法发送消息，当消息发送成功或失败时，回调函数将被调用，提供发送状态反馈。

一、异步发送过程

在这里插入图片描述

二、Java实现

一、配置依赖

<dependencies>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>3.0.0</version>
    </dependency>
</dependencies>

二、不带回调函数的API实现

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;

public class CustomProducer{
    public static void main(String[] args) throws InterruptedException{
        // 1.创建Kafka生产者的配置对象
        Properties properties = new Properties();
        // 2.给Kafka配置对象添加配置信息:bootstrap.servers
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"node1:9092");
        // key,value序列化:key.serializer,value.serializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");
        // 3.创建kafka生产者对象
        KafkaProducer<String,String> kafkaProducer = new KafkaProducer<String,String>(properties);
        // 4.调用send方法，发送消息
        for (int i = 0; i < 5; i++){
            kafkaProducer.send(new ProducerRecord<>("first","testMessage"+i));
        }
        // 5.关闭资源
        kafkaProducer.close();
    }
}

三、带回调函数的异步发送过程

回调函数会在producer收到ack时调用，为异步调用，该方法有两个参数，分别是元数据信息（RecordMetadata）和异常信息（Exception），如果Exception为null，说明消息发送成功，如果Exception不为null，说明消息发送失败

在这里插入图片描述

四、带回调函数的API实现

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class CustomProducerCallback {
    public static void main(String[] args) throws InterruptedException {
        // 1.创建kafka生产者的配置对象
        Properties properties = new Properties();
        // 2.给kafka配置对象添加配置信息
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"node1:9092");
        // key,value序列化：key.serializer,value.serializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
        // 3.创建kafka生产者对象
        KafkaProducer<String,String> kafkaProducer = new KafkaProducer<String, String>(properties);
        // 4.调用send方法，发送消息
        for (int i=0; i<5; i++){
            // 添加回调
            kafkaProducer.send(new ProducerRecord<>("first","testMessage"+i),new Callback(){
                // 该方法在Producer收到ack时调用，为异步调用
                @Override
                public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                    if (e == null){
                        // 没有异常，输出信息到控制台
                        System.out.println("主题: "+recordMetadata.topic() + "->" + "分区: "+recordMetadata.partition());
                    } else {
                        // 出现异常打印
                        e.printStackTrace();
                    }
                }
            });
            // 延迟一会会看到数据发往不同分区
            Thread.sleep(2);
        }
        // 5.关闭资源
        kafkaProducer.close();
    }
}