springboot升级的kafka配置修改

一、问题回顾

为了配合krpc的升级，需要升级项目的springboot版本从2.0.2到2.2.1，一开始在本地启动项目一切正常，但是在uat并行环境，出现问题，

报错如下：

为什么本地没有出现错误而并行环境出现了？

二、本地错误场景制造
将本地kafka监听的topic修改成没有的：

再次启动：

成功造出一样的报错信息！

三、原因分析
这个错误的原因是：消费监听接口监听的主题不存在时，默认会报错

具体查询了下：

从版本Spring Kafka 2.2开始，添加了名为missingtopicsfailal的新容器属性（默认值：true）。如果代理上不存在任何客户端发布或订阅涉及到的主题，这将阻止容器启动。

如果容器配置为侦听主题模式（regex），则不适用。以前，容器线程在consumer.poll()方法中循环，等待在记录许多消息时出现主题。除了日志，没有迹象表明有问题。

要恢复以前的行为，可以将属性设置为false，这个时候，Broker设置项allow.auto.create.topics=true，且这个容器属性为false，则会自动创建不存在的topic。

四、源码分析

现在项目的springboot基本升级到2.2.1版本，在项目中使用kafka需要配置包：

compile ‘org.springframework.kafka:spring-kafka’
不用写版本名称，因为会自动分配相应的版本

修改spring版本为2.0.2，kafka对应的版本为2.1.6版本，同时没有missingtopicsfailal属性

修改spring版本为2.2.1，kafka对应的版本为2.3.3版本，同时发现存在missingtopicsfailal属性

可以设置这个属性

五、解决方法

1、如果直接使用spring自动配置kafka，需要在配置application.properties文件中添加如下属性：

如果Broker上不存在至少一个配置的主题（topic），则容器是否无法启动，

该设置项结合Broker设置项allow.auto.create.topics=true，如果为false，则会自动创建不存在的topic

spring.kafka.listener.missing-topics-fatal=true

spring.kafka.listener.missing-topics-fatal=true

2、如果由于配置多topic监听，而采用javaconfig形式配置的话，需要在代码中设置ContainerProperties的missingTopicsFatal属性为false

六、验证
启动项目，没有报错了：

通过另一个服务制造数据写入相应的kafka的topic中：

服务消费topic正常：