【SpringBoot】在Springboot中怎么设置Kafka自动创建Topic

我们在开发过程中使用Kafka会遇到topic太多,自己创建太费劲,所以想一次配置终身使用,自己去创建topic,和flyway一样自己去创建表,今天总结一下配置方式。

1.application.yml配置

kafka:
  # 自动创建topic
  topics:
    # topic
    - name: import_vulnera_topic
      #分区数
      num-partitions: 6
      #副本数
      replication-factor: 2
    #  topic
    - name: import_vulnerability_topic
      num-partitions: 6
      replication-factor: 2
    # topic
    - name: import_vulnerability_result_topic
      num-partitions: 6
      replication-factor: 2

2.配置Configuration

import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.context.support.GenericWebApplicationContext;

import javax.annotation.PostConstruct;
import java.util.List;


/**
 * 自动创建topic
 */
@Configuration
@SuppressWarnings("all")
public class TopicAdministrator {
    private final TopicConfigurations configurations;
    private final GenericWebApplicationContext context;

    public TopicAdministrator(TopicConfigurations configurations, GenericWebApplicationContext genericContext) {
        this.configurations = configurations;
        this.context = genericContext;
    }

    @PostConstruct
    public void init() {
        initializeBeans(configurations.getTopics());
    }

    private void initializeBeans(List<TopicConfigurations.Topic> topics) {
        topics.forEach(t -> context.registerBean(t.name, NewTopic.class, t::toNewTopic));
    }


}
import lombok.Data;
import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;

import java.util.List;

@Configuration
@ConfigurationProperties(prefix = "kafka")
@Data
public class TopicConfigurations {

    private List<Topic> topics;

    @Data
    static class Topic {
        String name;
        Integer numPartitions = 3;
        Short replicationFactor = 1;

        NewTopic toNewTopic() {
            return new NewTopic(this.name, this.numPartitions, this.replicationFactor);
        }

    }
}

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Spring Boot ,可以使用 `spring-kafka` 库来配置 Kafka 生产者自动创建 topic。 首先,在 `application.properties` 或 `application.yml` 配置文件添加以下属性: ``` spring.kafka.producer.properties.topic.metadata.refresh.interval.ms=1000 spring.kafka.admin.properties.bootstrap.servers=<kafka-broker-host>:<kafka-broker-port> spring.kafka.admin.properties.security.protocol=SASL_PLAINTEXT spring.kafka.admin.properties.sasl.mechanism=PLAIN spring.kafka.admin.properties.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<username>" password="<password>"; ``` 其,`spring.kafka.admin.properties.bootstrap.servers` 是 Kafka 服务器的地址和端口,`spring.kafka.admin.properties.security.protocol`、`spring.kafka.admin.properties.sasl.mechanism` 和 `spring.kafka.admin.properties.sasl.jaas.config` 是 Kafka 安全认证相关的配置,需要根据实际情况进行修改。 接着,定义一个 Kafka 配置类,使用 `@Configuration` 注解标注,使用 `@EnableKafka` 注解开启 Kafka 相关功能,并在类定义一个 `KafkaAdmin` Bean,用于管理 Kafka。 ```java @Configuration @EnableKafka public class KafkaConfig { @Value("${spring.kafka.admin.properties.bootstrap.servers}") private String bootstrapServers; @Bean public KafkaAdmin kafkaAdmin() { Map<String, Object> configs = new HashMap<>(); configs.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); configs.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SASL_PLAINTEXT"); configs.put(SaslConfigs.SASL_MECHANISM, "PLAIN"); configs.put(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"<username>\" password=\"<password>\";"); return new KafkaAdmin(configs); } } ``` 最后,在生产者使用 `KafkaTemplate` 发送消息时,如果发送的 topic 不存在,Kafka 将会自动创建topic。 ```java @Service public class MyProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String message) { kafkaTemplate.send("my-topic", message); } } ``` 在上面的例子,如果 `my-topic` 这个 topic 不存在,Kafka自动创建它。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞四海

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值