Kafka 实战 - SpringBoot中使用Kafka的基本实现

在 Spring Boot 应用中使用 Apache Kafka 进行消息生产与消费，可以利用 Spring Kafka 模块提供的便捷集成方式。以下是一个基本实现的步骤指导：

1. 添加依赖

在 pom.xml 或 build.gradle 文件中添加 Spring Kafka 依赖：

Maven:

<dependencies>
  <dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
  </dependency>
</dependencies>

Gradle:

dependencies {
  implementation 'org.springframework.kafka:spring-kafka'
}

2. 配置 Kafka 连接

在 application.properties 或 application.yml 中配置 Kafka 服务器地址、消费者/生产者相关属性：

spring.kafka.bootstrap-servers=localhost:9092

# 可选配置，根据实际需求调整
spring.kafka.consumer.group-id=my-consumer-group
spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

3. 创建消息模型类

根据实际业务需求定义消息模型类（如果使用的是字符串或其他简单类型，可以跳过此步骤）：

public class MyMessage {
    private String id;
    private String content;

    // 构造函数、getter、setter...
}

4. 实现消息生产者

创建一个 @Component 类，注入 KafkaTemplate 并实现消息发送方法：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;

@Component
public class MyProducer {

    @Autowired
    private KafkaTemplate<String, MyMessage> kafkaTemplate;

    public void sendMessage(String topicName, MyMessage message) {
        kafkaTemplate.send(topicName, message);
    }
}

5. 实现消息消费者

创建一个 @Component 类，实现 Consumer 接口并指定消息处理方法：

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

@Component
public class MyConsumer {

    @KafkaListener(topics = "my-topic")
    public void receive(MyMessage message) {
        System.out.println("Received message: " + message);
        // 在此处处理消息逻辑
    }
}

6. 启动应用

构建并启动 Spring Boot 应用。现在，MyProducer 可以用来发送消息到 Kafka 主题，而 MyConsumer 则会自动监听指定主题并处理接收到的消息。

进阶配置与优化

• 事务管理：如果需要在 Spring 事务中使用 Kafka 生产者，可以启用 spring.kafka.producer.transaction-id-prefix 并注入 KafkaTransactionManager。

• 消息确认与重试：配置消费者 AckMode（如 MANUAL_IMMEDIATE 或 RECORD），实现手动确认消息并控制重试策略。

• 并发消费：通过 concurrency 属性配置 @KafkaListener 的并发消费线程数。

• 错误处理与死信队列：使用 ErrorHandler 处理消费失败的消息，或者配置 DLQ（Dead Letter Queue）以隔离处理异常消息。

• 消费组管理与分区分配：根据业务需求调整消费者组、分区分配策略以及消费者心跳、会话超时等参数。

以上就是在 Spring Boot 中使用 Kafka 的基本实现流程。实际应用中，根据具体需求可能还需要对上述配置和代码进行扩展和定制。