springboot整合kafka消费者最佳实践

最新推荐文章于 2025-03-12 02:26:17 发布

置顶

一只牛博

最新推荐文章于 2025-03-12 02:26:17 发布

阅读量1.9w

点赞数 15

分类专栏： # kafka # springboot 文章标签： spring boot kafka 消费者监听模式主动拉取模式

本文链接：https://blog.csdn.net/Mrxiao_bo/article/details/136764923

版权

本文介绍了如何在SpringBoot中整合Kafka，包括引入基础依赖、配置KafkaConsumerConfig和ConsumerTwoConfig，重点讲解了如何使用`commitAsync`和`commitSync`进行消费位移管理，以优化性能和保证数据完整性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

欢迎来到我的博客，代码的世界里，每一行都是一个故事

springboot整合kafka消费者最佳实践

前言

在当今信息爆炸的时代，实时数据处理已经成为许多应用的核心需求。而Kafka作为一个高性能的消息队列系统，为我们提供了一个实现实时数据处理的利器。而Spring Boot，则是一个强大的框架，可以帮助我们快速搭建应用。本文将带你进入这个充满挑战的领域，探索如何利用Spring Boot整合Kafka实现消费者，实现实时数据的处理和分析。

基础maven包引入

<spring.boot.version>2.7.8</spring.boot.version>
<kafka.version>2.8.2</kafka.version>
<netty.version>4.1.73.Final</netty.version>
<lombok.version>1.18.24</lombok.version>
<!-- 版本号自己添加 -->
<dependency>
  <groupId>org.springframework.kafka</groupId>
  <artifactId>spring-kafka</artifactId>
</dependency>
<dependency>
  <groupId>org.projectlombok</groupId>
  <artifactId>lombok</artifactId>
</dependency>
<dependency>
  <groupId>io.netty</groupId>
  <artifactId>netty-all</artifactId>
</dependency>

基于监听实现

KafkaConsumerConfig

package fun.acowbo.config;

import lombok.Data;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.core.ConsumerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;

import java.util.HashMap;
import java.util.Map;

/**
 * @author xiaobo
 */
@Data
@Configuration
@EnableKafka
@ConfigurationProperties(prefix = "spring.kafka.consumer")
public class KafkaConsumerConfig {