Kafka 整合 SpringBoot demo

在windows上部署完kafka后,我又开始整合springboot...

这篇文章建立在kafka部署完的基础上...

如果还没安装运行kafka可以参照《Kafka windows下安装和使用》https://blog.csdn.net/Alex19961223/article/details/104000790

一、项目架构

二、pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>com.ylz.demo</groupId>
	<artifactId>kafka-test</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>kafka-test</name>
	<description></description>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
		<java.version>1.8</java.version>
		<springboot.version>2.1.0.RELEASE</springboot.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-dependencies</artifactId>
			<version>${springboot.version}</version>
			<type>pom</type>
			<scope>import</scope>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
			<version>${springboot.version}</version>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<version>${springboot.version}</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.springframework.kafka</groupId>
			<artifactId>spring-kafka</artifactId>
			<version>2.2.10.RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
			<version>1.18.2</version>
		</dependency>
		<dependency>
			<groupId>com.google.code.gson</groupId>
			<artifactId>gson</artifactId>
			<version>2.8.2</version>
		</dependency>
	</dependencies>

	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.8</source>
					<target>1.8</target>
					<encoding>UTF-8</encoding>
				</configuration>
			</plugin>
		</plugins>
	</build>
</project>

tips:kafka版本和spring版本有依赖关系,具体参照srping官方文档 https://spring.io/projects/spring-kafka

三、消息实体类 Message.java 

@Data
public class Message {    
    private Long id;           //id
    private String msg;        //消息
    private Date sendTime;     //时间戳
}

四、消息发送类 Sender.java

@Component
@Slf4j
public class Sender {
    @Autowired
    private KafkaTemplate kafkaTemplate;
    private Gson gson = new GsonBuilder().create();

    public void send(){
        Message message = new Message();
        message.setId(System.currentTimeMillis());
        message.setMsg("testJson: " + UUID.randomUUID().toString());
        message.setSendTime(new Date());
        log.info("message={}", gson.toJson(message));
        kafkaTemplate.send("testJson", gson.toJson(message));
    }
}

五、消息接收类 Receiver.java

@Component
@Slf4j
public class Receiver {
    @KafkaListener(topics = "streamingTopic1")
    public void listener(ConsumerRecord record) {
        Optional kafkaMessage = Optional.ofNullable(record.value());
        if (kafkaMessage.isPresent()) {
            Object message = kafkaMessage.get();
            log.info("record--{}", record);
            log.info("message--{}", message);
        }
    }
}

六、springboot 启动类 KafkaTestApplication.java

@SpringBootApplication
@EnableKafka
public class KafkaTestApplication {

    public static void main(String[] args) {
        ConfigurableApplicationContext context = SpringApplication.run(KafkaTestApplication.class, args);
        Sender sender = context.getBean(Sender.class);
        for (int i = 0; i < 3; i++) {
            //调用消息发送类中的消息发送方法
            sender.send();

            try {
                Thread.sleep(3000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
}

七、配置文件 application.properties

server.port=10310
#============== kafka ===================
# 指定kafka 代理地址,可以多个
spring.kafka.bootstrap-servers=127.0.0.1:9092

#=============== provider  =======================

spring.kafka.producer.retries=0
# 字节数默认
spring.kafka.producer.batch-size=16384
spring.kafka.producer.buffer-memory=33554432

# 指定消息key和消息体的编解码方式
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

#=============== consumer  =======================
# 指定默认消费者group id
spring.kafka.consumer.group-id=test-consumer-group

spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.consumer.enable-auto-commit=true
spring.kafka.consumer.auto-commit-interval=100

# 指定消息key和消息体的编解码方式
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer

八、开始测试

1.启动zk

2.启动kafka

3.运行demo KafkaTestApplication.java

4.在kafka安装目录下打开命令窗口

5.mock一个消费者 customer, 接收程序发送的测试消息 ;

注意主题topic需要和Sender.java里的 kafkaTemplate.send("testJson", gson.toJson(message)); topic参数保持一致

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testJson

 

如图,模拟的消费者成功接收到程序传递的json消息串 

6.mock一个生产者 producer, 发送测试消息 hello kafka ;

注意主题topic需要和Receiver.java里的@KafkaListener(topics = "streamingTopic1") topics参数保持一致

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic streamingTopic1

如图,程序成功接收到生产者传递的消息 hello spring-kafka

 

参考:

1.《SpringBoot Kafka 整合使用》https://juejin.im/post/5d406a925188255d352ab24e

2. Spring for Apache Kafka https://docs.spring.io/spring-kafka/reference/html/

3. Kafka API https://docs.spring.io/spring-kafka/api/org/springframework/kafka/annotation/KafkaListener.html

Kafka与Spring Boot整合是一种常见的开发手段,可以通过导入Spring Boot整合Kafka的starter来实现。你可以在pom.xml文件中添加以下依赖坐标来导入该starter: ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> ``` 需要注意的是,直接使用Kafka和使用Spring Boot整合Kafka两种方法虽然原理相同,但在配置、使用和理解上有一些区别。因此,不要混淆这两种方法。例如,在使用Spring Boot整合Kafka时,你可以通过同步监听来实现消息的接收,但这与Kafka本身的ack机制是两个独立的概念。 在完成依赖导入后,你可以创建一个测试类来演示如何使用生产者发送消息。首先,你需要创建一个KafkaTemplate对象,并在测试方法中使用它来发送消息。以下是一个示例代码: ``` @SpringBootTest public class KfKTest { @Autowired private KafkaTemplate<String, String> kafkaTemplate; @Test void pro_test(){ // 构造消息 User user = new User(); user.setName("张三"); user.setAge(20); kafkaTemplate.send("test", user.toString()); } } ``` 在这个示例中,我们使用了@Autowired注解来自动注入KafkaTemplate对象,并在测试方法中通过kafkaTemplate.send方法发送消息到名为"test"的主题。 这就是使用Kafka整合Spring Boot的基本步骤。你可以根据自己的需求进一步扩展和使用Kafka的其他功能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [SpringBoot整合Kafka](https://blog.csdn.net/m0_37294838/article/details/127253991)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [知识点16--spring boot整合kafka](https://blog.csdn.net/dudadudadd/article/details/125344830)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值