SpringBoot集成kafka-监听器手动确认接收消息(主要为了保证业务完成后再确认接收)

1、说明

kafak中默认情况下是自动确认消息接收的,也就是说先启动消费者监听程序,再启动生产者发送消息,此时消费者监听到生产者发送的消息后,程序会自动确认接收成功,偏移量会自动下移,此时再启动消费者,偏移量会从新的位置读取数据,如果本次出现异常,业务没有处理完成,那么下次启动消费者是读取不到本次的消息的,所以可以采用手动确认的配置,确保本次消费者接收到了消息,并且业务正常处理完毕了,给kafak手动反馈接收成功。

在这里插入图片描述

2、示例

在这里插入图片描述

2.1、application.yml

在这里插入图片描述

2.2、消费者

package com.power.consumer;

import com.power.model.User;
import com.power.util.JSONUtils;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.support.Acknowledgment;
import org.springframework.kafka.support.KafkaHeaders;
import org.springframework.messaging.handler.annotation.Header;
import org.springframework.messaging.handler.annotation.Payload;
import org.springframework.stereotype.Component;

import java.util.function.Consumer;

@Component
public class EventConsumer {

    @KafkaListener(topics = {"${kafka.topic.name}"},groupId="${kafka.consumer.group}")
    public void onEvent4(String userJson,
                         @Header(value=KafkaHeaders.RECEIVED_TOPIC) String topic,
                         @Header(value=KafkaHeaders.RECEIVED_PARTITION_ID) String partition,
                         ConsumerRecord<String,String> record,
                         Acknowledgment ack){
        try {
            User user =JSONUtils.toBean(userJson,User.class);
            System.out.println("读取/消费到的事件,user:"+user+",topic:"+topic+",partition:"+partition);
            System.out.println("读取/消费到的事件:"+record.toString());

            int a = 10/0;

            //业务确认完成,给kafka服务器反馈确认
            ack.acknowledge();//手动确认消息,就是告诉kafka服务器,该消息我已经接收到了,默认情况下是自动确认
            //手动确认后,下次启动消费者,偏移量会从新的位置开始;没有手动确认,下次启动消费者,偏移量还是从老位置开始
        }catch (Exception e){
            e.printStackTrace();
        }

    }

}

2.3、生产者

package com.power.producer;

import com.power.model.User;
import com.power.util.JSONUtils;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

import javax.annotation.Resource;
import java.util.Date;

@Component
public class EventProducer {

    @Resource
    private KafkaTemplate<String,Object> kafkaTemplate;

    public void sendEvent2(){
        User user = User.builder().id(10001).phone("15676767676").birthday(new Date()).build();
        String userJson = JSONUtils.toJSON(user);
        kafkaTemplate.send("helloTopic",userJson);
    }

}

2.4、测试类

package com.power;

import com.power.producer.EventProducer;
import org.junit.jupiter.api.Test;
import org.springframework.boot.test.context.SpringBootTest;

import javax.annotation.Resource;

@SpringBootTest
public class SpringBoot02KafkaBaseApplication {

    @Resource
    private EventProducer eventProducer;

    @Test
    void sendEvent2(){
        eventProducer.sendEvent2();
    }

}

2.5、测试

先启动消费者监听程序
再启动生产者发送消息
程序再业务中出现了异常:

在这里插入图片描述
再次启动消费者程序,因为再上次启动时出现了异常,也没有进行手动确认接收,所以本地启动消费者后依然可以读取到上次未完成业务时接收到的数据
在这里插入图片描述

Spring Boot项目中集成Apache Kafka主要涉及以下几个步骤: 1. **添加依赖**: 首先,在你的`pom.xml`或`build.gradle`文件中添加KafkaSpring Cloud Stream的依赖。对于Maven: ```xml <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-stream-binder-kafka</artifactId> </dependency> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> </dependency> ``` 或者Gradle: ```groovy implementation 'org.springframework.cloud:spring-cloud-stream-binder-kafka' implementation 'org.apache.kafka:kafka-clients' ``` 2. **配置应用**: 在`application.yml`或`application.properties`中配置Kafka的相关信息,如bootstrap servers(Kafka集群地址)和其他连接选项。 ```yaml spring: cloud: stream: bindings: inputChannel: destination: myTopic group: myConsumerGroup output: binder: kafka destination: myOutputTopic kafka: consumer: bootstrap-servers: localhost:9092 auto-offset-reset: earliest producer: bootstrap-servers: localhost:9092 ``` 3. **创建绑定和处理器**: 创建一个`@StreamListener`注解的方法来处理从Kafka接收消息。例如: ```java @Bean public KStreamProcessor processor(KafkaStreams streams) { return streams.process("myProcessorName", Consumed.with(Serdes.String(), Serdes.String()), Produced.with(Serdes.String(), Serdes.String())); } @StreamListener(Processor.INPUT) public void handle(String message, @Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition) { System.out.println("Received message from partition " + partition + ": " + message); } ``` 4. **启动消息生产者/消费者**: 如果你需要自己创建消息生产者,可以使用`KafkaTemplate`。如果只需要消费,可以在启动时自动注册消费者组。 5. **运行应用**: 启动Spring Boot应用,它将会连接到Kafka并开始监听指定的主题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值