springboot升级的kafka配置修改

一、问题回顾

为了配合krpc的升级,需要升级项目的springboot版本从2.0.2到2.2.1,一开始在本地启动项目一切正常,但是在uat并行环境,出现问题,

报错如下:

在这里插入图片描述

为什么本地没有出现错误而并行环境出现了?

二、本地错误场景制造
将本地kafka监听的topic修改成没有的:

在这里插入图片描述

再次启动:

在这里插入图片描述

成功造出一样的报错信息!

三、原因分析
这个错误的原因是:消费监听接口监听的主题不存在时,默认会报错

具体查询了下:

从版本Spring Kafka 2.2开始,添加了名为missingtopicsfailal的新容器属性(默认值:true)。如果代理上不存在任何客户端发布或订阅涉及到的主题,这将阻止容器启动。

如果容器配置为侦听主题模式(regex),则不适用。以前,容器线程在consumer.poll()方法中循环,等待在记录许多消息时出现主题。除了日志,没有迹象表明有问题。

要恢复以前的行为,可以将属性设置为false,这个时候,Broker设置项allow.auto.create.topics=true,且这个容器属性为false,则会自动创建不存在的topic。

四、源码分析

现在项目的springboot基本升级到2.2.1版本,在项目中使用kafka需要配置包:

compile ‘org.springframework.kafka:spring-kafka’
不用写版本名称,因为会自动分配相应的版本

修改spring版本为2.0.2,kafka对应的版本为2.1.6版本,同时没有missingtopicsfailal属性

在这里插入图片描述
修改spring版本为2.2.1,kafka对应的版本为2.3.3版本,同时发现存在missingtopicsfailal属性

在这里插入图片描述

可以设置这个属性

在这里插入图片描述

五、解决方法

1、如果直接使用spring自动配置kafka,需要在配置application.properties文件中添加如下属性:

如果Broker上不存在至少一个配置的主题(topic),则容器是否无法启动,

该设置项结合Broker设置项allow.auto.create.topics=true,如果为false,则会自动创建不存在的topic

spring.kafka.listener.missing-topics-fatal=true

spring.kafka.listener.missing-topics-fatal=true

2、如果由于配置多topic监听,而采用javaconfig形式配置的话,需要在代码中设置ContainerProperties的missingTopicsFatal属性为false

六、验证
启动项目,没有报错了:

在这里插入图片描述

通过另一个服务制造数据写入相应的kafka的topic中:

在这里插入图片描述

服务消费topic正常:

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Spring Boot集成Kafka配置步骤如下: 1. 添加Kafka依赖 在pom.xml文件中添加Kafka依赖: ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.5.5.RELEASE</version> </dependency> ``` 2. 配置Kafka连接信息 在application.properties文件中配置Kafka连接信息: ``` spring.kafka.bootstrap-servers=localhost:9092 spring.kafka.consumer.group-id=my-group spring.kafka.consumer.auto-offset-reset=earliest ``` 3. 创建Kafka生产者 使用Spring Boot的KafkaTemplate类创建Kafka生产者: ``` @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } ``` 4. 创建Kafka消费者 使用@KafkaListener注解创建Kafka消费者: ``` @KafkaListener(topics = "my-topic", groupId = "my-group") public void listen(String message) { System.out.println("Received message: " + message); } ``` 以上就是Spring Boot集成Kafka配置步骤。 ### 回答2: Spring Boot是一个现代化的Java Web开发框架,简化了传统的Java Web开发流程,而Kafka则是一个分布式消息系统,可用于快速而可靠地处理大量数据和消息。 Spring Boot集成Kafka主要需要进行以下步骤: 1. 配置Maven依赖 在pom.xml文件中添加依赖: ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.3.3.RELEASE</version> </dependency> ``` 2. 配置Kafka参数 在application.yml文件中添加Kafka配置参数,例如: ``` spring: kafka: bootstrap-servers: localhost:9092 consumer: group-id: group1 auto-offset-reset: earliest key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer producer: retries: 0 batch-size: 16384 linger-ms: 1 buffer-memory: 33554432 key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer ``` 其中,`bootstrap-servers`是Kafka服务器的地址,`group-id`是消费者组的ID,`auto-offset-reset`是消费者启动时的偏移量,`key-deserializer`和`value-deserializer`是反序列化器,`retries`是生产者重试次数,`batch-size`是每个批次消息的大小,`linger-ms`是等待消息传递时间,`buffer-memory`是缓存大小,`key-serializer`和`value-serializer`是序列化器。 3. 创建生产者和消费者 通过`@EnableKafka`注解开启Kafka支持,在需要使用Kafka的地方添加`@KafkaListener`注解标记监听器,例如: ``` @Service @EnableKafka public class KafkaConsumer { @KafkaListener(topics = "test") public void receive(ConsumerRecord<?, ?> consumerRecord) { System.out.println("消费消息:" + consumerRecord.value()); } } ``` 通过`KafkaTemplate`类创建生产者,例如: ``` @Service @EnableKafka public class KafkaProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); System.out.println("生产者发送消息:" + message); } } ``` 其中,`topic`是消息主题,`message`是消息内容。 通过以上步骤,就可以完成Spring Boot集成Kafka配置和使用。 ### 回答3: Spring Boot 是一种流行的 Java Web 开发框架,而 Kafka 是一种流行的分布式消息队列系统。结合 Spring Boot 和 Kafka 可以构建高效可靠的消息处理系统。 实现 Spring Boot 集成 Kafka 需要进行以下步骤: 1. 引入 Kafka 相关依赖 在 Spring Boot 项目的 pom.xml 中引入 Kafka 相关依赖,包括 spring-kafkakafka-clients。 2. 配置 Kafka 生产者和消费者 在 Spring Boot 项目的 application.yml 或 application.properties 文件中进行 Kafka 生产者和消费者的配置。具体配置包括 Kafka 服务器地址、端口号、topic 名称等。 3. 实现 Kafka 消费者 通过注解,实现 Kafka 消费者。使用 @KafkaListener 注解来标记一个方法,该方法可以处理消费者接收到的消息。例如: ```java @KafkaListener(topics = "${kafka.topic.name}", groupId = "${kafka.group.id}") public void listen(ConsumerRecord<String, String> record) { log.info("Received message: {}", record.value()); } ``` 其中,${kafka.topic.name} 和 ${kafka.group.id} 分别是配置文件中的 Kafka topic 名称和消费者组 ID。 4. 实现 Kafka 生产者 通过注入 KafkaTemplate,实现 Kafka 生产者。例如: ```java @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String message) { kafkaTemplate.send(topicName, message); } ``` 其中,topicName 是配置文件中配置Kafka topic 名称。 5. 启动应用程序 通过 Spring Boot 启动应用程序,即可开始接收和发送 Kafka 消息。 通过以上步骤,就可以完成 Spring Boot 集成 Kafka配置。在实际项目中,可以根据需要进行进一步的配置和定制,例如实现 Kafka 消息的序列化和反序列化、配置 Kafka 连接池等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值