SpringBoot整合kafka实战之带回调的生产者

本文来说下SpringBoot整合kafka部分知识内容


带回调的生产者

前面我们说了简单的生产和消费,本文说下带回调的生产者。kafkaTemplate提供了一个回调方法addCallback,我们可以在回调方法中监控消息是否发送成功 或 失败时做补偿处理,有两种写法。回调函数只是保证消息可以从生产者到kafka服务器发送成功i,至于消费者从kafka消费消息是保证不了的。


方式一

生产者

@Slf4j
@RestController
@RequestMapping("/api/kafka")
@Api(tags = "kafka测试开发")
public class KafkaController {

    @Autowired
    private KafkaTemplate<String, Object> kafkaTemplate;

    @GetMapping("/callbackOne")
    @ApiOperation(value = "带回调的生产者")
    public void sendMessage2(@RequestParam("message") @ApiParam(value="消息",required = true) String callbackMessage) {

        // 带回调的生产者
        kafkaTemplate.send("test", callbackMessage).addCallback(success -> {

            // 消息发送到的topic
            String topic = success.getRecordMetadata().topic();
            // 消息发送到的分区
            int partition = success.getRecordMetadata().partition();
            // 消息在分区内的offset
            long offset = success.getRecordMetadata().offset();
            log.info("发送消息成功:" + topic + "-" + partition + "-" + offset + "-" + callbackMessage);
        }, failure -> {
            log.info("发送消息失败:" + failure.getMessage());
        });
    }

}

消费者

@Component
@Slf4j
public class KafkaConsumer {

    // 消费监听
    @KafkaListener(topics = {"test"})
    public void onMessage1(ConsumerRecord<?, ?> record){

        // 消费的哪个topic、partition的消息,打印出消息内容
        log.info("==============================================>");
        StringBuffer sb = new StringBuffer();
        // 主题
        sb.append(record.topic() + "-");
        // 分区
        sb.append(record.partition() + "-");
        // 需要消费的值
        sb.append(record.value() + "-");
        // 位移
        sb.append(record.offset());

        log.info("消费者进行消费:"+ sb);
    }
}

测试结果

在这里插入图片描述
在这里插入图片描述


方式二

只是回调者的实现方式有点不同,消费者和方式一类似

 @GetMapping("/callbackTwo")
 @ApiOperation(value = "带回调的生产者方式二")
 public void sendMessage3(@RequestParam("message") @ApiParam(value="消息",required = true) String callbackMessage) {

        kafkaTemplate.send("test", callbackMessage).addCallback(new ListenableFutureCallback<SendResult<String, Object>>() {

            @Override
            public void onSuccess(SendResult<String, Object> result) {

                RecordMetadata rm = result.getRecordMetadata();
                log.info("发送消息成功:" + rm.topic() + "-" + rm.partition() + "-" + rm.offset() + "-" + callbackMessage);
            }

            @Override
            public void onFailure(Throwable ex) {
                log.info("发送消息失败:"+ex.getMessage());
            }

        });
    }

程序测试

在这里插入图片描述
在这里插入图片描述


本文小结

本文介绍了SpringBoot整合kafka实战之带回调的生产者

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Spring Boot整合Kafka实战 Kafka是一个分布式的消息队列系统,可以用于实现高吞吐量、低延迟的数据传输。Spring Boot是一个快速开发框架,可以帮助我们快速搭建应用程序。本文将介绍如何使用Spring Boot整合Kafka实现消息传输。 1. 添加依赖 在pom.xml文件中添加以下依赖: ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.5.0.RELEASE</version> </dependency> ``` 2. 配置Kafka 在application.properties文件中添加以下配置: ``` spring.kafka.bootstrap-servers=localhost:9092 spring.kafka.consumer.group-id=my-group ``` 其中,bootstrap-servers指定Kafka的地址和端口,consumer.group-id指定消费者组的ID。 3. 发送消息 使用KafkaTemplate发送消息,示例代码如下: ``` @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } ``` 其中,topic指定消息发送到的主题,message是要发送的消息内容。 4. 接收消息 使用@KafkaListener注解监听消息,示例代码如下: ``` @KafkaListener(topics = "my-topic") public void receiveMessage(String message) { System.out.println("Received message: " + message); } ``` 其中,topics指定要监听的主题,receiveMessage方法会在收到消息时被调用。 5. 测试 使用JUnit测试发送和接收消息,示例代码如下: ``` @RunWith(SpringRunner.class) @SpringBootTest public class KafkaTest { @Autowired private KafkaProducer kafkaProducer; @Autowired private KafkaConsumer kafkaConsumer; @Test public void testSendAndReceiveMessage() throws InterruptedException { kafkaProducer.sendMessage("my-topic", "Hello, Kafka!"); Thread.sleep(1000); assertThat(kafkaConsumer.getMessages()).contains("Hello, Kafka!"); } } ``` 其中,kafkaProducer和kafkaConsumer分别是发送和接收消息的类,testSendAndReceiveMessage方法测试发送和接收消息的功能。 以上就是使用Spring Boot整合Kafka实现消息传输的步骤。 ### 回答2: Spring Boot是一种流行的Java框架,用于构建可靠,可扩展和高效的应用程序。Kafka是一种分布式流处理平台,允许用户通过发布和订阅消息实现高吞吐量,低延迟的数据传输。将Spring Boot和Kafka整合是一种流行的做法,用于构建可靠的,可扩展的消息驱动应用程序。 为了将Spring Boot和Kafka进行集成,可以使用Spring Kafka。这是一个基于Spring Framework的库,使得使用Kafka变得容易。下面是Spring Boot使用Kafka的步骤: 1. 添加Spring Kafka依赖 要使用Spring Kafka,需要添加以下依赖项到pom.xml文件中: ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.6.0</version> </dependency> ``` 2. 配置Kafka 为了让应用程序与Kafka进行通信,需要在application.yml或application.properties文件中配置Kafka连接信息: ``` spring.kafka.bootstrap-servers=localhost:9092 spring.kafka.consumer.auto-offset-reset=latest spring.kafka.consumer.group-id=testGroup ``` 3. 创建生产者 为了发布消息到Kafka主题,需要创建一个生产者。可以使用KafkaTemplate来完成此操作: ``` @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } ``` 4. 创建消费者 为了订阅Kafka主题并处理已接收到的消息,需要创建消费者。可以使用@KafkaListener注解来标记消费函数。使用Spring Framework提供的@Value注解,可以轻松获取配置值: ``` @KafkaListener(topics = "testTopic", groupId = "testGroup") public void consume(String message) { System.out.println("Received message: " + message); } ``` 5. 测试应用程序 完成上述步骤后,应用程序应该可以与Kafka通信。可以使用JUnit或其他测试框架来完成测试。 这里介绍了整合Spring Boot和Kafka的基本步骤,但是实际应用程序可能更加复杂,需要更多的代码和配置。但是,通过这个简单的示例,可以开始使用Spring Boot和Kafka构建可靠,可扩展的消息驱动应用程序。 ### 回答3: Spring Boot是一个基于Spring框架的Web应用开发框架,广受开发者欢迎。而Kafka是一个高吞吐量的分布式消息系统,由于其高可靠性和可扩展性,在大规模数据处理领域也得到了广泛应用。那么Spring Boot如何与Kafka结合使用呢?本文将介绍的是Spring Boot整合Kafka实战场景。 1. 准备工作 进入项目所在文件夹,打开命令行,输入以下命令: $mvn archetype:generate -DgroupId=com.springboot.kafka -DartifactId=springboot-kafka -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false 这里使用Maven生成Spring Boot项目模板,生成的项目为springboot-kafka。 2. 添加Kafka依赖 在pom.xml文件中添加Kafka的依赖包,代码如下: <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.3.9.RELEASE</version> </dependency> 3. 配置Kafka 在application.yml文件中添加Kafka的配置信息,代码如下: spring: kafka: bootstrap-servers: localhost:9092 consumer: group-id: group01 auto-offset-reset: earliest producer: retries: 0 batch-size: 16384 linger-ms: 1 buffer-memory: 33554432 这里的bootstrap-servers为Kafka服务器地址,group-id为消费者组的ID,auto-offset-reset为消费者偏移量的重置方式,retries为失败重试的次数,batch-size和linger-ms为批量消息处理的参数,buffer-memory为Kafka缓存大小。 4. 创建消息生产者 在程序中创建消息生产者类,代码如下: import org.springframework.beans.factory.annotation.Autowired; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.stereotype.Service; @Service public class KafkaProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } } 这里使用Spring Boot的自动注入来注入KafkaTemplate,sendMessage方法用于发送消息。 5. 创建消息消费者 在程序中创建消息消费者类,代码如下: import org.springframework.kafka.annotation.KafkaListener; import org.springframework.stereotype.Component; @Component public class KafkaConsumer { @KafkaListener(topics = "test") public void listen(String message) { System.out.println("接收到消息:" + message); } } 使用@KafkaListener注解来创建消息监听器,当有消息到达时会触发被注解的方法。 6. 测试 在程序中创建测试类,代码如下: import com.springboot.kafka.KafkaProducer; import java.io.BufferedReader; import java.io.InputStreamReader; import java.util.Scanner; @Service public class Test { @Autowired private KafkaProducer kafkaProducer; public void test() { System.out.println("请输入消息:"); Scanner scanner = new Scanner(System.in); while (scanner.hasNext()) { String message = scanner.nextLine(); kafkaProducer.sendMessage("test", message); System.out.println("发送消息:" + message); } } } 执行test方法,输入消息后会发送消息到Kafka,同时也会在KafkaConsumer中打印出接收到的消息。 以上就是Spring Boot整合Kafka实战场景,希望对大家有所帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值