springboot集成kafka

最新推荐文章于 2024-06-02 19:29:15 发布
最新推荐文章于 2024-06-02 19:29:15 发布
阅读量497 收藏 1
点赞数 1
分类专栏： kafka 文章标签： kafka spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yu_kang/article/details/105821669
版权

springboot集成kafka

网上关于springboot集成kafka的文章很多，本文只是做一个学习记录。
上章：kafka简单入门

项目结构

在这里插入图片描述

pom文件

	<parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.8.RELEASE</version>
    </parent>
    <dependencies>
        <!-- Spring Boot -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <!--<version>2.1.11.RELEASE</version>-->
        </dependency>
        <!--<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>1.0.0</version>
        </dependency>-->
        <!-- Lombok -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.10</version>
        </dependency>
        <!-- json -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.60</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

配置文件

application.yml

server:
  port: 8080
  servlet:
    context-path: /

spring:
  kafka:
    bootstrap-servers: localhost:9092
    producer:
      # 发生错误后，消息重发的次数。
      retries: 0
      #当有多个消息需要被发送到同一个分区时，生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小，按照字节数计算。
      batch-size: 16384
      # 设置生产者内存缓冲区的大小。
      buffer-memory: 33554432
      # 键的序列化方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 值的序列化方式
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      # acks=0 ： 生产者在成功写入消息之前不会等待任何来自服务器的响应。
      # acks=1 ： 只要集群的首领节点收到消息，生产者就会收到一个来自服务器成功响应。
      # acks=all ：只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。
      acks: 1
    consumer:
      # 自动提交的时间间隔 在spring boot 2.X 版本中这里采用的是值的类型为Duration 需要符合特定的格式，如1S,1M,2H,5D
      # 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理：
      # latest（默认值）在偏移量无效的情况下，消费者将从最新的记录开始读取数据（在消费者启动之后生成的记录）
      # earliest ：在偏移量无效的情况下，消费者将从起始位置读取分区的记录
      auto-offset-reset: earliest
      # 是否自动提交偏移量，默认值是true,为了避免出现重复数据和数据丢失，可以把它设置为false,然后手动提交偏移量
      enable-auto-commit: false
      # 键的反序列化方式
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      # 值的反序列化方式
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      auto-commit-interval: 1S
    listener:
      # 在侦听器容器中运行的线程数。
      concurrency: 5
      #listner负责ack，每调用一次，就立即commit
      ack-mode: manual_immediate
      missing-topics-fatal: false

生产者与消费者

producer

@Component
@Slf4j
public class Producer {

    @Autowired
    private KafkaTemplate<String, Object> kafkaTemplate;

    //自定义topic
    public static final String TOPIC_TEST = "topic.test";

    //
    public static final String TOPIC_GROUP1 = "topic.group1";

    //
    public static final String TOPIC_GROUP2 = "topic.group2";

    public void send(Object obj) {
        String obj2String = JSONObject.toJSONString(obj);
        log.info("准备发送消息为：{}", obj2String);
        //发送消息
        ListenableFuture<SendResult<String, Object>> future = kafkaTemplate.send(TOPIC_TEST, obj);
        future.addCallback(new ListenableFutureCallback<SendResult<String, Object>>() {
            @Override
            public void onFailure(Throwable throwable) {
                //发送失败的处理
                log.info(TOPIC_TEST + " - 生产者 发送消息失败：" + throwable.getMessage());
            }

            @Override
            public void onSuccess(SendResult<String, Object> stringObjectSendResult) {
                //成功的处理
                log.info(TOPIC_TEST + " - 生产者 发送消息成功：" + stringObjectSendResult.toString());
            }
        });


    }
}

consumer

@Component
@Slf4j
public class Consumer {

    @KafkaListener(topics = Producer.TOPIC_TEST, groupId = Producer.TOPIC_GROUP1)
    public void topic_group1_1(ConsumerRecord<?, ?> record, Acknowledgment ack, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {

        Optional message = Optional.ofNullable(record.value());
        if (message.isPresent()) {
            Object msg = message.get();
            log.info("topic_group1_1 消费了： Topic:" + topic + ",Message:" + msg);
            ack.acknowledge();
        }
    }

    /**
     * 同topic同组消费
     * 
     * @param record
     * @param ack
     * @param topic
     */
    @KafkaListener(topics = Producer.TOPIC_TEST, groupId = Producer.TOPIC_GROUP1)
    public void topic_group1_2(ConsumerRecord<?, ?> record, Acknowledgment ack, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {

        Optional message = Optional.ofNullable(record.value());
        if (message.isPresent()) {
            Object msg = message.get();
            log.info("topic_group1_2 消费了： Topic:" + topic + ",Message:" + msg);
            ack.acknowledge();
        }
    }

    /**
     * 同topic不同组消费
     *
     * @param record
     * @param ack
     * @param topic
     */
    @KafkaListener(topics = Producer.TOPIC_TEST, groupId = Producer.TOPIC_GROUP2)
    public void topic_group2(ConsumerRecord<?, ?> record, Acknowledgment ack, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {

        Optional message = Optional.ofNullable(record.value());
        if (message.isPresent()) {
            Object msg = message.get();
            log.info("topic_group2 消费了： Topic:" + topic + ",Message:" + msg);
            ack.acknowledge();
        }
    }
}

controller

@Controller
@RequestMapping("/kafka")
public class Contoller {

    @Autowired
    private Producer producer;

    @RequestMapping("/sendMsg")
    public void sendMsg(){
        producer.send("this is kafka test .");
    }
}

启动项目

报错分析1

Error starting ApplicationContext. To display the auto-configuration report re-run your application with 'debug' enabled.
2020-04-28 15:52:48.723 ERROR 6260 --- [           main] o.s.boot.SpringApplication               : Application startup failed

java.lang.NoSuchMethodError: org.springframework.util.Assert.state(ZLjava/util/function/Supplier;)V
	at org.springframework.kafka.listener.adapter.MessagingMessageListenerAdapter.determineInferredType(MessagingMessageListenerAdapter.java:473) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.listener.adapter.MessagingMessageListenerAdapter.<init>(MessagingMessageListenerAdapter.java:106) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.listener.adapter.RecordMessagingMessageListenerAdapter.<init>(RecordMessagingMessageListenerAdapter.java:61) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.MethodKafkaListenerEndpoint.createMessageListenerInstance(MethodKafkaListenerEndpoint.java:180) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.MethodKafkaListenerEndpoint.createMessageListener(MethodKafkaListenerEndpoint.java:140) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.AbstractKafkaListenerEndpoint.setupMessageListener(AbstractKafkaListenerEndpoint.java:374) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.AbstractKafkaListenerEndpoint.setupListenerContainer(AbstractKafkaListenerEndpoint.java:359) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.AbstractKafkaListenerContainerFactory.createListenerContainer(AbstractKafkaListenerContainerFactory.java:261) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.AbstractKafkaListenerContainerFactory.createListenerContainer(AbstractKafkaListenerContainerFactory.java:50) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.KafkaListenerEndpointRegistry.createListenerContainer(KafkaListenerEndpointRegistry.java:183) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.KafkaListenerEndpointRegistry.registerListenerContainer(KafkaListenerEndpointRegistry.java:155) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.KafkaListenerEndpointRegistry.registerListenerContainer(KafkaListenerEndpointRegistry.java:129) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.KafkaListenerEndpointRegistrar.registerAllEndpoints(KafkaListenerEndpointRegistrar.java:138) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.config.KafkaListenerEndpointRegistrar.afterPropertiesSet(KafkaListenerEndpointRegistrar.java:132) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.kafka.annotation.KafkaListenerAnnotationBeanPostProcessor.afterSingletonsInstantiated(KafkaListenerAnnotationBeanPostProcessor.java:242) ~[spring-kafka-2.1.11.RELEASE.jar:2.1.11.RELEASE]
	at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:781) ~[spring-beans-4.3.13.RELEASE.jar:4.3.13.RELEASE]
	at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:867) ~[spring-context-4.3.13.RELEASE.jar:4.3.13.RELEASE]
	at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:543) ~[spring-context-4.3.13.RELEASE.jar:4.3.13.RELEASE]
	at org.springframework.boot.context.embedded.EmbeddedWebApplicationContext.refresh(EmbeddedWebApplicationContext.java:122) ~[spring-boot-1.5.9.RELEASE.jar:1.5.9.RELEASE]
	at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:693) [spring-boot-1.5.9.RELEASE.jar:1.5.9.RELEASE]
	at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:360) [spring-boot-1.5.9.RELEASE.jar:1.5.9.RELEASE]
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:303) [spring-boot-1.5.9.RELEASE.jar:1.5.9.RELEASE]
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:1118) [spring-boot-1.5.9.RELEASE.jar:1.5.9.RELEASE]
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:1107) [spring-boot-1.5.9.RELEASE.jar:1.5.9.RELEASE]
	at cn.yuk.Application.main(Application.java:10) [classes/:na]

2020-04-28 15:52:48.725  INFO 6260 --- [           main] ationConfigEmbeddedWebApplicationContext : Closing org.springframework.boot.context.embedded.AnnotationConfigEmbeddedWebApplicationContext@7ce3cb8e: startup date [Tue Apr 28 15:52:44 CST 2020]; root of context hierarchy
2020-04-28 15:52:48.727  INFO 6260 --- [           main] o.s.j.e.a.AnnotationMBeanExporter        : Unregistering JMX-exposed beans on shutdown

Process finished with exit code 1

网上说是jar包版本不一致问题导致的。springboot、spring-kafka、kafka-client三者的兼容性关系
附上一张图
在这里插入图片描述
几经周折，改成上面的对应关系后，项目启动成功。

报错分析2

项目启动成功后，一直打印
org.apache.kafka.clients.NetworkClient : [Consumer clientId=consumer-3, groupId=topic.group1] Connection to node -1 could not be established. Broker may not be available.
这是kafka服务没有启动，一定要启动zookeeper与kafka服务端 kafka简单入门

测试

浏览器输入 http://localhost:8080/kafka/sendMsg

: topic.test - 生产者 发送消息成功：SendResult [producerRecord=ProducerRecord(topic=topic.test, 
: topic_group1_2 消费了： Topic:topic.test,Message:this is kafka test .
: topic_group2 消费了： Topic:topic.test,Message:this is kafka test .

再来一下

: topic_group1_2 消费了： Topic:topic.test,Message:this is kafka test .
: topic.test - 生产者 发送消息成功：SendResult [producerRecord=ProducerRecord(topic=topic.test, 
: topic_group2 消费了： Topic:topic.test,Message:this is kafka test .

生产者发送信息打印比消费者慢一步，因为打印消息是异步的
把topic_group1_1与topic_group1_2 （groupId相同）顺序调换，打印信息

: topic.test - 生产者 发送消息成功：SendResult [producerRecord=ProducerRecord(topic=topic.test, 
: topic_group2 消费了： Topic:topic.test,Message:this is kafka test .
: topic_group1_2 消费了： Topic:topic.test,Message:this is kafka test .
: 准备发送消息为："this is kafka test ."
: topic_group2 消费了： Topic:topic.test,Message:this is kafka test .
: topic.test - 生产者 发送消息成功：SendResult [producerRecord=ProducerRecord(topic=topic.test, 
: topic_group1_2 消费了： Topic:topic.test,Message:this is kafka test .

好像跟监听顺序没有关系，同一个组只会消费一次

浴缸灬
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SpringBoot集成kafka全面实战
Felix
03-28 20万+
本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 二、消费者实践 简单消费 指定topic、partition、offset消费 ...
kafka|2.springboot集成kafka
qq_39449880的博客
07-22 606
springboot集成kafka
SpringBoot——集成Kafka详解
吴声子夜歌的博客
08-21 2万+
我们知道，kafka中每个topic被划分为多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？这就是所谓的分区策略，Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区；若发送消息时未指定 patition，但指定了 key（kafka允许为每条消息设置一个key），则对key值进行hash计算，根据计算结果路由到指定分区，这种情况下可以保证同一个 Key 的所有消息都进入到相同的分区；
Springboot整合kafka简单使用
最新发布
m0_56353506的博客
06-02 1383
Kafka 是一个开源的分布式流处理平台，最初由 LinkedIn 开发并贡献给 Apache 软件基金会。它设计用于构建高性能、持久性、可伸缩和容错的实时数据管道和流处理应用程序。发布-订阅模型：Kafka 使用发布-订阅模型，其中消息生产者将消息发布到主题（topic），而消息消费者从主题订阅消息。这种模型可以支持多个消费者同时消费消息，并且具有良好的扩展性。主题（Topic）：主题是消息的逻辑分类，相当于一个消息队列。消息被发布到主题，并且消费者从主题订阅消息。分区（Partition）
spring cloud 服务起不来,不报错
点点滴滴
06-03 695
今天是奇葩问题的一天,一个kafka不能收不到kafka_acknowledgment这个header属性,一个服务跑不起来,而且没有任何报错的问题. kafka_acknowledgment
spring boot整合kafka+注解方式
嘎嘎的博客
12-19 2万+
spring boot自动配置方式整合 spring boot具有许多自动化配置，对于kafka的自动化配置当然也包含在内，基于spring boot自动配置方式整合kafka，需要做以下步骤。 引入kafka的pom依赖包 &lt;!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka --&...
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
通过以上步骤，我们就完成了Spring Boot集成Kafka的实战项目，包括生产者、消费者的实现，以及Topic的创建和指定消费分区。这个项目可以帮助开发者更好地理解和应用Kafka在实际业务场景中的用法，提升消息传递的效率...
springboot集成kafka推送的简单例子
06-05
通过这个简单的例子，你已经掌握了如何在SpringBoot应用中集成Kafka进行消息推送的基本流程。随着对Spring和Kafka的进一步了解，你可以实现更复杂的功能，比如消息分组、幂等性消费、事务支持等。这只是一个起点，但...
SpringBoot集成kafkaDemo
10-20
以上是SpringBoot集成Kafka的基础步骤。在实际应用中，你可能还需要考虑更多的高级特性，比如错误处理、幂等性、事务支持、消费者分组和偏移管理等。Kafka还提供了丰富的API和工具，可以满足复杂的流处理需求，如...
Springboot集成Kafka实现producer和consumer的示例代码
08-27
主要介绍了Springboot集成Kafka实现producer和consumer的示例代码，详细的介绍了什么是Kafka和安装Kafka以及在springboot项目中集成kafka收发message，感兴趣的小伙伴们可以参考一下
Spring集成kafka的最佳方式
一个天秤座的架构师
05-01 2万+
序 本文主要简单梳理梳理java应用中生产/消费kafka消息的一些使用选择。 可用类库 kafka client spring for apache kafka spring integration kafka spring cloud stream binder kafka 基于java版的kafka client与spring进行集成 <dependency&gt...
springboot2.x +kafka使用和源码分析一(自动装配)
F_Hello_World的博客
11-29 1540
序言： 个人感觉springboot的源码是web应用开源框架中写的最好的，观看它的源码可以学习它的编码风格，代码设计思想，如何做到给予使用者最好的使用体验，隐藏连接各应用组件的实现细节，极大降低类开发者实力的要求。查看springboot对各组件的自动装配实现，可以很详细的了解到spring对于组件核心类的初始化过程，以及核心类的作用以及之间的依赖关系。 在使用springboot项目中集成...
SpringBoot - 指定配置类的配置顺序 @AutoConfigureBefore、@AutoConfigureAfter、@AutoConfigureOrder
你今天真好看呀
10-15 1982
AutoConfigureBefore：用在自动配置类上面，表示该自动配置类需要在另外指定的自动配置类配置完之后配置。@AutoConfigureAfter：用在自动配置类上面，表示该自动配置类需要在另外指定的自动配置类配置完之前配置。@AutoConfigureOrder：确定配置加载的优先级顺序，表示绝对顺序（数字越小，优先顺序越高）
Springboot中使用kafka
热门推荐
DAMN WHERE'D YOU FIND THAT
03-23 2万+
首先说明，本人之前没用过zookeeper、kafka等，尚硅谷十几个小时的教程实在没有耐心看，现在我也不知道分区、副本之类的概念。用kafka只是听说他比RabbitMQ快，我也是昨天晚上刚使用，下文中若有讲错的地方或者我的理解与它的本质有偏差的地方请包涵。 此文背景的环境是windows，linux流程也差不多。 官网下载kafka，选择Binary downloads Apache Kafka 解压在D盘下或者什么地方，注意不要放在桌面等绝对路径太长的地方 打开conf
Spring Boot 整合 kafka
qq_43842093的博客
04-25 4481
启动方式参考上一篇文章，
Springboot 配置使用 Kafka
friggly的博客
02-22 1万+
As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是 RabbitMq，RocketMq 是阿里巴巴的产品，性能超过 RabbitMq，已经经受了多年的双11考验，但是怕哪天阿里不维护了，用的人不多，Kafka 是吞吐量最大的一个，远超前两个，支持事务、可保证消息的不丢失（网上说的事务和消息可靠性不支持是说的旧版，2以后就开始支持了），对比来讲，Kafka相对于前两个，只有一个劣势，不太支持延时队列，其他方面都要优于它们。
springboot 集成 Kafka
11-07
SpringBoot集成Kafka可以通过引入spring-kafka依赖来实现。在yaml配置文件中配置Kafka的相关信息，然后使用@KafkaListener注解来注入消费者即可。如果一个主题要被多个消费组消费，可以配置多个消费组。在消费者中，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值