spring boot学习第八篇:kafka监听消费

已于 2024-02-19 16:51:49 修改
阅读量872 收藏 9
点赞数 10
分类专栏： Spring Boot 文章标签： spring boot 学习 kafka
于 2024-01-18 16:49:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heming20122012/article/details/135678744
版权

为了实现监听器功能

pom.xml文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.6.4</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.hmblogs</groupId>
    <artifactId>hmblogs</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>hmblogs</name>
    <description>hmblogs</description>
    <properties>
        <java.version>8</java.version>
        <druid.version>1.2.8</druid.version>
        <log4jdbc.version>1.16</log4jdbc.version>
    </properties>
    <dependencies>
        <!-- druid数据源驱动 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>${druid.version}</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!-- mybatis -->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.5.3.1</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <!--Mysql依赖包-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>

        <!--lombok插件-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <!--监控sql日志-->
        <dependency>
            <groupId>org.bgee.log4jdbc-log4j2</groupId>
            <artifactId>log4jdbc-log4j2-jdbc4.1</artifactId>
            <version>${log4jdbc.version}</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.9</version>
        </dependency>

        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.8.0</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.7.2</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

 application.yml文件内容如下：

server:
  port: 8081
  servlet.context-path: /

#配置数据源
spring:
  datasource:
    druid:
      db-type: com.alibaba.druid.pool.DruidDataSource
      driverClassName: net.sf.log4jdbc.sql.jdbcapi.DriverSpy
      url: jdbc:log4jdbc:mysql://${DB_HOST:localhost}:${DB_PORT:3306}/${DB_NAME:eladmin}?serverTimezone=Asia/Shanghai&characterEncoding=utf8&useSSL=false
      username: ${DB_USER:root}
      password: ${DB_PWD:demo}
  redis:
    host: localhost
    port: 6379
    password: demo
    database: 10

logback.xml文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="10 seconds">
    <!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL，如果设置为WARN，则低于WARN的信息都不会输出 -->
    <!-- scan:当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true -->
    <!-- scanPeriod:设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。 -->
    <!-- debug:当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 -->
    <contextName>logback</contextName>
    <property name="log.path" value="logs"></property>
    <property name="Console_Pattern" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%logger{50}] - %msg%n"/>

    <appender name="Console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <Pattern>${Console_Pattern}</Pattern>
            <!-- 设置字符集 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!-- 时间滚动输出 level为 INFO 日志 -->
    <appender name="RollingFileBackend" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/hmblogs.log</file>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level [%logger{50}] - %msg%n</pattern>
            <charset>UTF-8</charset>
        </encoder>
        <!-- 日志记录器的滚动策略，按日期，按大小记录 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 每天日志归档路径以及格式 -->
            <fileNamePattern>${log.path}/hmblogs/log-hmblogs-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>100MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
            <!--日志文件保留天数-->
            <maxHistory>15</maxHistory>
        </rollingPolicy>
        <!-- 此日志文件只记录info级别的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>Info</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!--additivity:是否继承root节点，默认是true继承。默认情况下子Logger会继承父Logger的appender，
    也就是说子Logger会在父Logger的appender里输出。
    若是additivity设为false，则子Logger只会在自己的appender里输出，而不会在父Logger的appender里输出。-->
    <logger name="org.springframework" level="INFO" additivity="false">
        <appender-ref ref="Console"/>
        <appender-ref ref="RollingFileBackend"/>
    </logger>
    <logger name="org.mybatis" level="INFO"></logger>
    <logger name="org.hibernate.SQL" level="DEBUG"  additivity="false">
        <appender-ref ref="Console"/>
        <appender-ref ref="RollingFileBackend"/>
    </logger>
    <Logger name="org.apache.catalina" level="info"/>
    <Logger name="org.apache.tomcat.util" level="info"/>
    <!-- 从低到高为：All < Trace < Debug < Info < Warn < Error < Fatal < OFF-->
    <root level="Info">
        <appender-ref ref="Console"/>
        <appender-ref ref="RollingFileBackend"/>
    </root>

</configuration>

BackendApplication.java文件内容如下：

package com.hmblogs.backend;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class BackendApplication {

    public static void main(String[] args) {
        SpringApplication.run(BackendApplication.class, args);
    }

}

然后添加了kafkaConsumerListenerExample.java文件

package com.hmblogs.backend.util;

import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

import java.util.Optional;

/**
 *
 * @description:  kafka 消费者
 * @copyright: @Copyright (c) 2022
 * @company: hmblogs
 * @author: heming
 * @version: 1.0.0
 * @createTime: 2024-01-18 8:31
 */
@Component
@Slf4j
public class kafkaConsumerListenerExample {

    @KafkaListener(topics = "test", groupId = "0")
    public void consume(ConsumerRecord<?, ?> record) {
        Optional<?> value = Optional.ofNullable(record.value());
        // 进行消息处理逻辑
        log.info("print message: " + value);
    }
}

发到服务器上，启动hmblogs报错，截图如下：

Caused by: java.lang.TypeNotPresentException: Type org.springframework.kafka.listener.CommonErrorHandler not present

java.lang.ClassNotFoundException: org.springframework.kafka.listener.CommonErrorHandler

网上搜索资料，大部分讲的都是包冲突，在本地启动也是报这样的错，如下所示：

网上CSDN提出问题求助大佬，大佬建议spring boot项目可以不用给kafka相关依赖指定版本，然后我尝试了一下，问题解决。pom.xml文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.6.4</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.hmblogs</groupId>
    <artifactId>hmblogs</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>hmblogs</name>
    <description>hmblogs</description>
    <properties>
        <java.version>8</java.version>
        <druid.version>1.2.8</druid.version>
        <log4jdbc.version>1.16</log4jdbc.version>
    </properties>
    <dependencies>
        <!-- druid数据源驱动 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>${druid.version}</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!-- mybatis -->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.5.3.1</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <!--Mysql依赖包-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>

        <!--lombok插件-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <!--监控sql日志-->
        <dependency>
            <groupId>org.bgee.log4jdbc-log4j2</groupId>
            <artifactId>log4jdbc-log4j2-jdbc4.1</artifactId>
            <version>${log4jdbc.version}</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.9</version>
        </dependency>

        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>

        </dependency>

        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>

        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

 本地启动，没问题

然后发到我的云主机，启动OK

然后在kafka服务里发消息，参考spring boot学习第八篇:kafka-CSDN博客 

这篇博客的2.3，这里不再赘述。

发消息截图如下：

 然后查看hmblogs.log的日志

我是用tail -f hmblogs.log查看的。

 问题解决了。kafka监听效果也实现了，即一旦有另外的人发消息到这个kafka服务的topic上，该监听器能监听到新发进来该topic的消息，并且消费。

veminhe
关注
  • 10
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式消息系统之Kafka
AI课工场
10-13 295
随着疫情在国内得到了平稳控制，各个企业也逐渐开始招聘了，而跳槽的好时机，除了金三银四之外，便是金九银十啦。准备看机会的朋友们可以抓住这次机会，好好的准备简历，复盘项目经历，深入恶补每个知识点。今天我们要给大家补的知识点便是分布式消息系统Kafka。 在互联网海量数据、高并发、高可用、低延迟的要求下，使用消息系统来进行数据的转发、系统之间的解耦是必不可少的，学习Kafka就先来看看Kafka的典型使用场景。 场景1之消息系统，即将生产者应用和消费者应用解耦，生产者的消息通过Kafka发送，消费者订阅.
spring boot kafka_SpringBoot集成Kafka
weixin_39619174的博客
11-26 364
SpringBoot集成Kafka 本篇主要讲解SpringBoot 如何集成Kafka ，并且简单的 编写了一个Demo 来测试 发送和消费功能前言选择的版本如下： springboot ：2.3.4.RELEASEspring-kafka ：2.5.6.RELEASEkafka : 2.5.1zookeeper : 3.4.14本Demo 使用的是 SpringBoot 比较高的版本...
springboot的kafka动态工具类（动态创建topic、监听和监听方法）
最新发布
python_small_pan的博客
05-16 1193
springboot下的kafka动态创建topic队列，kafkaListner监听容器相关的动态工具类，非常好用！
项目实践-Spring Boot实现Kafka消息监听
观云卷云舒的博客
06-15 7614
项目实践-Spring Boot实现Kafka消息监听 前言 **书山有路勤为径，学海无涯苦作舟** 记录程序员生活点点滴滴，希望记录的内容能帮助到努力爬山的各位伙伴！ 标签：Kafka/消息监听 一、Kafka概念 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filt
Kafka消费者组消费进度监控
Linux_cui的博客
12-09 1806
kafka消费者监控
基于Springboot实现Kafka消费数据
yyb1369584682的博客
11-20 9039
基于Springboot实现Kafka消费数据
kafka-spring-boot:Kafka和Kafka流与Spring Boot
03-07
【标题】：“Kafka-Spring-Boot：整合Kafka、Kafka流与Spring Boot的实践” 在现代微服务架构中，消息队列扮演着至关重要的角色，它允许服务之间进行异步通信，提高系统的可扩展性和可靠性。Apache Kafka作为一个...
spring boot整合spring-kafka实现发送接收消息实例代码
08-30
Spring Boot 整合 Spring-Kafka 实现发送接收消息实例代码 Spring Boot 是一个基于 Java 的开源框架，它提供了一个灵活的方式来构建 Web 应用程序。Spring-Kafka 是一个基于 Apache Kafka 的消息队列组件，提供了...
springboot 基于spring-kafka动态创建kafka消费者
11-17
5. **运行与测试**：启动Spring Boot应用，当`kafka.consumer.enabled`设置为`true`时，消费者将开始监听指定的Kafka主题。你可以通过发送消息到该主题来测试消费者的运行情况。 以上就是基于Spring Boot和Spring ...
在Spring Boot应用程序中使用Apache Kafka的方法步骤详解
08-26
在 Spring Boot 应用程序中使用 Apache Kafka 需要遵循一定的步骤，包括生成项目、定义 Kafka 主题中的消息、配置 Kafka 生产者和消费者、创建生产者和消费者等。通过遵循这些步骤，可以成功地在 Spring Boot 应用...
KafkaConsumer:Spring Boot Kafka消费者
04-17
在本文中，我们将深入探讨如何在Spring Boot应用中使用KafkaConsumer来消费Apache Kafka主题中的消息。Apache Kafka是一个分布式流处理平台，常用于构建实时数据管道和流应用程序。Spring Boot简化了Kafka消费者的...
【kafka专栏】SpringBoot下`@KafkaListener`消费监听属性详解
字母哥博客
07-09 3841
KafkaListener有若干的配置属性，这些配置属性使用或者是结合使用，可以方便快捷的帮助我们实现kafka消费者数据监听的需求。这里的属性比较多，先大概了解一下，后续我会介绍。 通常我们会把消费者监听的主题，消费者组名称，消费者组中消费者数量等常用信息做成自定义配置（而不是在代码中写死），如下所示： 下面的消费者监听器监听了两个topic：topic-a,topic-b（使用SpEL表达式逗号分割为字符串数组），该消费者组命名为group-demo，包含5个消费者线程并行消费。 三、指定Topic分区
springboot集成kafka，监听消费消息
weixin_39682125的博客
07-17 919
springboot集成kafka，消费消息
springboot kafka消息消费学习 @KafkaListener 使用
weixin_44131922的博客
09-05 2446
下面文件是读取本地 spring 的标准配置文件的类，用于一般属性获取等操作。为其他用于控制get set 方法的，与 此处配置不是强关联，可以没有。用途：定义使用的基本 kafka 配置，以及定义Bean。spring boot 用于判断当前类是否加载的条件。： 为我们的业务服务层，用于消费消息。
springboot使用@KafkaListener监听多个kafka配置
道不平的博客
01-02 2382
背景: 使用springboot整合kafka时, springboot默认读取配置文件中 spring.kafka...配置初始化kafka, 使用@KafkaListener时指定topic即可, 当服务中需要监听多个kafka时, 需要配置多个kafka, 这种方式不适用。4. @KafkaListener使用。
spring-kafka通过@KafkaListener实现消费者监听流程分析
热门推荐
自律使我自由
06-23 1万+
首先通过@EnableKafka注解，注入KafkaBootstrapConfiguration类 @Target(ElementType.TYPE) @Retention(RetentionPolicy.RUNTIME) @Documented @Import(KafkaBootstrapConfiguration.class) public @interface EnableKafka { } 注入KafkaListenerAnnotationBeanPostProcessor，此类负责收集有@Kaf
kafka消费者监听（java）
沁园
09-07 1247
【代码】kafka消费者（java）
springboot kafka消费者启动/停止监听控制，启动时只消费此时之后的数据
qq_44651842的博客
02-07 3970
在springboot项目中，使用spring-kafka消费kafka数据。希望能够控制消费者（KafkaConsumer）启动或停止消费，并且在启动消费时只消费当前时刻以后生产的数据（最新生产的数据），也就是说，启动消费之前未消费的数据不再消费。
spring boot 如何监听kafka消息代码
03-29
可以使用Spring Kafka提供的@KafkaListener注解来监听Kafka消息。以下是示例代码： 首先，需要在Spring Boot应用程序中添加以下依赖： ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.5.5</version> </dependency> ``` 接下来，在配置类中配置Kafka相关属性： ```java @Configuration @EnableKafka public class KafkaConfiguration { @Value("${spring.kafka.bootstrap-servers}") private String bootstrapServers; @Bean public Map<String, Object> consumerConfigs() { Map<String, Object> props = new HashMap<>(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group-id"); return props; } @Bean public ConsumerFactory<String, String> consumerFactory() { return new DefaultKafkaConsumerFactory<>(consumerConfigs()); } @Bean public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); return factory; } } ``` 在上面的代码中，我们使用@Value注解获取了Spring Boot应用程序中配置的Kafka服务器地址，并配置了Kafka消费者的相关属性。 接下来，我们可以创建一个Kafka消息监听器： ```java @Component public class KafkaMessageConsumer { @KafkaListener(topics = "${spring.kafka.consumer.topic}") public void receiveMessage(String message) { System.out.println("Received message: " + message); } } ``` 在上面的代码中，我们使用@KafkaListener注解来指定要监听的Kafka主题，然后定义了一个receiveMessage方法来处理接收到的消息。 最后，我们需要在应用程序的启动类上添加@EnableKafka注解来启用Kafka监听器： ```java @SpringBootApplication @EnableKafka public class MyApplication { public static void main(String[] args) { SpringApplication.run(MyApplication.class, args); } } ``` 这就是使用Spring Kafka来监听Kafka消息的示例代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值