SpringBoot 整合 kafka 实现组订阅模式

最新推荐文章于 2024-07-21 23:40:02 发布
最新推荐文章于 2024-07-21 23:40:02 发布
阅读量3.1k 收藏 5
点赞数 2
文章标签： java 大数据 系统架构
原文链接：https://my.oschina.net/u/3621360/blog/2249024
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

SpringBoot 整合 kafka 实现组订阅模式：

工程结构图

fdc40aa4eee6c9d545315fac884036b8a42.jpg

 

 

消息生产者pom.xml配置
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>scms-parent</artifactId>
        <groupId>yj.scms.parent</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <groupId>yj.scms.kafka</groupId>
    <artifactId>scms-kafka</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>1.3.5.RELEASE</version>
        </dependency>


        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.2</version>
        </dependency>
        <!-- fastjson jar的神奇功能  对象转json  json转 对象 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>
消息消费者配置：
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>scms-parent</artifactId>
        <groupId>yj.scms.parent</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <groupId>yj.scms.kafka</groupId>
    <artifactId>scms-kafka</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>1.3.5.RELEASE</version>
        </dependency>


        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.2</version>
        </dependency>
        <!-- fastjson jar的神奇功能  对象转json  json转 对象 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

 

生产者application.properties配置文件
#设置端口号
server.port=9003

#返回页面、数据中文乱码问题
spring.http.encoding.force=true
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
server.tomcat.uri-encoding = UTF-8
#解决程序读配置文件乱码问题
spring.message.encoding = UTF-8

#客户端注册进eureka服务列表内
#eureka.client.service-url.defaultZone=http://eureka8002.com:8002/eureka/,http://eureka8003.com:8003/eureka/,http://eureka8004.com:8004/eureka/
eureka.client.service-url.defaultZone=http://127.0.0.1:8001/eureka/
#微服务名称设置在注册中心显示的名称
spring.application.name=scms-kafka-send

################ 显示ip端口号方式1 ##################################
#访问路径可以显示IP地址
eureka.instance.preferIpAddress=true
#微服务名称设置在注册中心显示的名称
eureka.instance.instance-id=${spring.cloud.client.ipAddress}:${server.port}

################ 显示ip端口号方式2 ##################################
#访问路径可以显示IP地址
#eureka.instance.prefer-ip-address=true
#微服务名称设置在注册中心显示的名称
#eureka.instance.instance-id=${spring.cloud.client.ip-address}:${server.port}

#在eureka微服务info显示内容详细信息
info.app.name=user-service
info.company.name=www.baidu.com
info.build.artifactId=$project.artifactId$
info.build.version=$project.version$


##################################kafka配置文件###############################################
#============== kafka ===================
# 指定kafka 代理地址，可以多个
spring.kafka.bootstrap-servers=127.0.0.1:9092

#=============== provider  =======================

spring.kafka.producer.retries=0
# 每次批量发送消息的数量
spring.kafka.producer.batch-size=16384
spring.kafka.producer.buffer-memory=33554432

# 指定消息key和消息体的编解码方式
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

#=============== consumer  =======================
# 指定默认消费者group id
#spring.kafka.consumer.group-id=test-consumer-group

spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.consumer.enable-auto-commit=true
spring.kafka.consumer.auto-commit-interval=100

# 指定消息key和消息体的编解码方式
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

###########################kafak配置结束#######################################################################
消费者application.properties配置文件
#设置端口号
server.port=9002

#返回页面、数据中文乱码问题
spring.http.encoding.force=true
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
server.tomcat.uri-encoding = UTF-8
#解决程序读配置文件乱码问题
spring.message.encoding = UTF-8

#客户端注册进eureka服务列表内
#eureka.client.service-url.defaultZone=http://eureka8002.com:8002/eureka/,http://eureka8003.com:8003/eureka/,http://eureka8004.com:8004/eureka/
eureka.client.service-url.defaultZone=http://127.0.0.1:8001/eureka/
#微服务名称设置在注册中心显示的名称
spring.application.name=scms-kafka

################ 显示ip端口号方式1 ##################################
#访问路径可以显示IP地址
eureka.instance.preferIpAddress=true
#微服务名称设置在注册中心显示的名称
eureka.instance.instance-id=${spring.cloud.client.ipAddress}:${server.port}

################ 显示ip端口号方式2 ##################################
#访问路径可以显示IP地址
#eureka.instance.prefer-ip-address=true
#微服务名称设置在注册中心显示的名称
#eureka.instance.instance-id=${spring.cloud.client.ip-address}:${server.port}

#在eureka微服务info显示内容详细信息
info.app.name=user-service
info.company.name=www.baidu.com
info.build.artifactId=$project.artifactId$
info.build.version=$project.version$


##################################kafka配置文件###############################################
#============== kafka ===================
# 指定kafka 代理地址，可以多个
spring.kafka.bootstrap-servers=127.0.0.1:9092

#=============== provider  =======================

spring.kafka.producer.retries=0
# 每次批量发送消息的数量
spring.kafka.producer.batch-size=16384
spring.kafka.producer.buffer-memory=33554432

# 指定消息key和消息体的编解码方式
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

#=============== consumer  =======================
# 指定默认消费者group id
#spring.kafka.consumer.group-id=test-consumer-group

spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.consumer.enable-auto-commit=true
spring.kafka.consumer.auto-commit-interval=100

# 指定消息key和消息体的编解码方式
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

###########################kafak配置结束#######################################################################
 

 

生产者send 的java代码
package yj.scms.kafka.sender;

import com.google.gson.Gson;
import com.google.gson.GsonBuilder;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Component;
import yj.scms.kafka.pojo.Message;

import java.util.Date;
import java.util.UUID;

/**
 * kafka生产者
 */
@Component
public class KafkaSender {
    protected final Logger logger = LoggerFactory.getLogger(this.getClass());

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    private Gson gson = new GsonBuilder().create();

    //发送消息方法
    public void send() {
        Message message = new Message();
        message.setId(System.currentTimeMillis());
        message.setMsg(UUID.randomUUID().toString());
        message.setSendTime(new Date());
        logger.info("+++++++++++++++++++++  message = {}", gson.toJson(message));
        kafkaTemplate.send("hhh", gson.toJson(message));
    }
}
消费者组1 java代码
package yj.scms.kafka.receiver;


import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

import java.util.Optional;

/**
 * kafka消费者
 */
@Component
public class KafkaReceiver {

    protected final Logger logger = LoggerFactory.getLogger(this.getClass());

    @KafkaListener(topics = {"hhh"},groupId = "xiaofeng1")
    public void listen(ConsumerRecord<?, ?> record) {

        Optional<?> kafkaMessage = Optional.ofNullable(record.value());

        if (kafkaMessage.isPresent()) {
            Object message = kafkaMessage.get();
            logger.info("-xiaofeng1-- test1：" + record+"，record:" + record+",message:" + message+",---");
        }

    }
}

 

消费者组2java代码
package yj.scms.kafka.receiver;


import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;

import java.util.Optional;

/**
 * kafka消费者
 */
@Component
public class KafkaReceiverTwo {

    protected final Logger logger = LoggerFactory.getLogger(this.getClass());

    @KafkaListener(topics = {"hhh"},groupId = "xiaofeng2")
    public void listen(ConsumerRecord<?, ?> record) {

        Optional<?> kafkaMessage = Optional.ofNullable(record.value());

        if (kafkaMessage.isPresent()) {
            Object message = kafkaMessage.get();
            logger.info("-xiaofeng2-- test2：" + record+"，record:" + record+",message:" + message+",---");
        }

    }
}

 

 

一个生产者发送消息
f214b292af33c2a829bbe9f86e641673aa4.jpg
两个小消费者同时消费
176c0f34cd3ba7717c1bcd2d384d733a286.jpg

 

 

 您觉得本文章对您有帮助，那么可以选择打赏。
打赏多少，您高兴就行，谢谢您的支持！ ~(@^_^@)~

                          微信               支付宝
08cdeab56f6808041ef833491f96a941fbc.jpgd886d6660cd1dd7c002516d1c1f77147adf.jpg

 

转载于:https://my.oschina.net/u/3621360/blog/2249024

weixin_34099526
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SpringBoot+Kafka+策略模式
weixin_49456013的博客
10-14 402
1.pom引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 2.yml文件增加配置 spring: kafka: # bootstrap-servers: 19
springboot集成kafka进行消息发布和订阅jar
05-22
java程序实现springboot集成kafka进行消息发布和订阅并打包，可直接进行linux主机应用。支持动态修改kafka集群配置，和监听主题；支持动态指向jdk版本。
springboot整合kafka实现发布订阅，kafka学习五
写bug的小哥哥
06-19 680
1.引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframewo
kafka--发布-订阅消息系统
IT深耕十余载，大道之简
07-04 682
Apache Kafka 是一个分布式流处理平台，它主要用于构建实时数据管道和流应用。尽管 Kafka 常被描述为一个消息系统，但它提供的远远超出了传统消息队列系统的功能。Kafka 的核心是一个高吞吐量、持久化、分布式的日志服务，它允许你发布和订阅流式的记录，这些记录被称为“消息”。
Springboot 整合 kafka 实现消息的发布和订阅
Sanchar
10-12 2690
Kafka 是一个分布式、高吞吐量、可持久性和自动负载均衡的消息队列。它在实现了传统意义上的 MQ 功能的同时，也可以作为大数据的流处理平台。 简单来说，Kafka 就是一个高吞吐量的分布式发布订阅消息系统。 Kafka 的用法跟 RabbitMQ 用法相同，都是作为一个消息中间件收发消息，下面介绍的是 Springboot 微服务集成 Kafka，已经简单的用法说明。 依赖 Spring 有专门支持 Kafka 的依赖，引入 Spring 对应版本支持的 Kafka 依赖即可，如下 &lt
springboot系列-kafka消息订阅和发送
青龙小码农
08-28 1326
1.maven依赖 <!--kafka--> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 2.配置文件 spring:...
SpringBoot 整合Kafka实现消息的发送和接收
08-27
通过以上步骤，你已经掌握了如何在SpringBoot项目中整合Kafka，实现消息的发送和接收。这个过程中，你不仅学习了Kafka的基础知识，还了解了SpringBoot如何与外部系统集成，为构建高效的消息驱动架构奠定了基础。
springboot整合kafka的发布/消费demo项目源码
08-18
在本文中，我们将深入探讨如何将Spring Boot与Apache Kafka整合，以便实现发布/...这个"springboot整合kafka的发布/消费demo项目源码"提供了一个基础的示例，帮助开发者快速上手并理解Kafka在Spring Boot中的工作方式。
springboot整合kafka
06-23
SpringBoot整合Kafka是现代Java应用中常见的数据流处理方式，Kafka作为一个高吞吐、低延迟的消息中间件，常用于大数据实时处理、日志收集等场景。SpringBoot的轻量级特性使得与Kafka的集成变得简单易行。本文将深入...
springboot整合kafka相关讲解
04-14
SpringBoot整合Kafka是现代微服务架构中常见的一种技术组合，Kafka作为一个高效、可扩展的分布式消息中间件，能够处理大规模实时数据流。在Spring Boot框架中集成Kafka，可以方便地构建出高可用、高性能的数据处理...
springboot集成kafka | 分布式消息发布和订阅系统
最新发布
2401_83358720的博客
07-21 1594
Kafka 是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点。最初由 LinkedIn 公司开发，后贡献给 Apache 基金会成为顶级开源项目。
问题记录：SpringBoot SpringStreaming kafka 自定义主题订阅
qq_36707579的博客
10-17 628
本文用于记录自己遇到的问题 项目需求：每个微服务根据实际启动时所在的物理ip订阅不同的主题。 SpringStreaming kafka相关依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-streams...
springboot集成kafka实现消息发布订阅
zhou_fan_xi的博客
04-01 5107
新建SpringBoot项目 基于JDK版本1.8，SpringBoot 版本2.2.2.RELEASE 1、pom.xml中添加依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactI...
spring boot集成Kafka发送和订阅数据两种方式
yinjl123456的博客
04-29 3444
spring boot集成Kafka发送和订阅数据两种方式 Kafka安装 MacBook Linux安装Kafka Linux解压安装Kafka kafka可视化工具Kafka Tool安装使用 Kafka集群和kafka-manager安装 方式一 maven的pom.xml引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifac
Kafka在SpringBoot中的实际应用（消息订阅）
kavenKai的博客
01-27 1060
当消费者提交偏移量时，它会等待服务器的确认，确保偏移量已经被记录下来，避免偏移量的丢失或提交不准确的问题。acks=1：生产者发送消息后需要等待Broker的确认消息，只要消息被成功写入Leader分区就会返回ack，这种情况下如果Leader分区发生故障，消息可能会丢失。：是否自动提交偏移量，消费者的偏移量并非自动更新的，只有消费者提交之后，kafka上存储的消费组的offset才会被更新。acks=0：生产者发送消息后，不需要等待Broker的响应，消息会立即返回，这种情况下消息可能会丢失。
【Spring Boot】集成Kafka实现消息发送和订阅
xunming的专栏
08-29 5665
使用spring boot和kafka实现消息订阅和发送
Spring Boot Kafka概览、配置及优雅地实现发布订阅
易名
12-26 1818
本文属于翻译，转载注明出处，欢迎关注微信小程序小白AI博客 微信公众号小白AI或者网站 https://xiaobaiai.net 文章目录1 前言2 Spring Kafka功能概览2.1 自动创建主题2.2 发送消息2.3 接收消息2.3.1 消息监听器2.3.1.1 消息监听器容器2.3.1.2 使用KafkaMessageListenerContainer2.3.1.3 使用 Concu...
【SpringBoot】整合Kafka集群
lushixuan12345的博客
12-22 2917
【SpringBoot】整合Kafka集群
Springboot最简单的实战介绍 整合kafka-生产者与消费者（消息推送与订阅获取
hello_1231的博客
04-10 4220
前言 你的努力，终将成就无可替代的自己 本科毕业后就一直从事Java开发的工作，和多数人一样，最开始从事crud的工作，看着自己的同学一步一步往上走，自己还是在原地踏步，说实话这不是自己想要的状态。 一年半后开始沪漂生活，又摸爬滚打了一年半，薪资基本上在16K。疫情在家开始了系统的学习，目的就是为了进大厂，得到更多的学习机会，也是为了自己到所谓的“35岁”之后，也能在老家恰一口好饭。 努力也没有白费，8个月时间的系统性学习成功上岸Alibaba，直接涨薪14K，下面分享一下我的学习指南，面试真题以及个人
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值