SpringBoot中如何配置Kafka多数据源？

最新推荐文章于 2024-06-29 15:28:13 发布
最新推荐文章于 2024-06-29 15:28:13 发布
阅读量2.5k 收藏 7
点赞数 1
文章标签： kafka spring boot java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34227856/article/details/123110049
版权

前言

日常项目中需要使用两个或以上kafka的数据源地址，面向百度编程的过程中发现，几个数据源就需要配置几个配置文件，并没有优雅的解决方式，于是开发了一款基于Spring-Kafka的kafka-spring-boot-starter除了支持原生配置外，还增加了多数据源配置。

安装

Starter已上传至中央仓库，pom文件中引用即可。

<dependency>
  <groupId>io.github.pg-liudong</groupId>
  <artifactId>kafka-spring-boot-starter</artifactId>
  <version>1.0.0</version>
</dependency>

特征

  • 支持原生: 支持spring-kafka原生配置。
spring:
  kafka:
    bootstrap-servers: localhost:9092
    consumer:
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      auto-offset-reset: earliest
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
  • 支持多数据源: 支持多数据源配置。
spring:
  kafka:
    multiple:
      # Primary data source is not allowed to be empty.
      primary: ds1  
      consumer:
        key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
        value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
        auto-offset-reset: latest
      producer:
        key-serializer: org.apache.kafka.common.serialization.StringSerializer
        value-serializer: org.apache.kafka.common.serialization.StringSerializer
      datasource:
        ds1:
          bootstrap-servers: localhost:9092
          consumer:
            # Consumer concurrent kafka listener container factory is not allowed to be empty.
            container-factory: ds1KafkaListenerContainerFactory  
            auto-offset-reset: earliest
          producer:
            kafka-template: ds1KafkaTemplate
        ds2:
          bootstrap-servers: localhost:9093
          consumer:
            container-factory: ds2KafkaListenerContainerFactory
            auto-offset-reset: earliest
          producer:
            # Producer kafka template bean name is not allowed to be empty.
            kafka-template: ds2KafkaTemplate

源码

源码以及示例项目，已上传至github，有兴趣的小伙伴可以在微信公众号「爪哇驿站」后台发送“kafka”领取。

爪哇驿站
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
Springboot笔记整理，springboot中如何配置多数据源
assdfgdfgjhtdo的博客
03-04 315
随着业务的不断增加，我们的系统会越来越庞大，因此，一个项目中使用多个数据源，是我们可能会遇到的问题。 所以今天整理了这篇博客，说说springboot如何配置多数据源。 相关的视频教程我是看的某站上动力节点的视频，视频资源见下边： https://www.bilibili.com/video/BV1XQ4y1m7ex 一、目录结构 二、依赖包（pom.xml） <dependencies> <dependency> <groupId&...
SpringBoot配置多Kafka中心
xiaoliu598906167的博客
06-26 9778
最近准备把SpringMVC的代码全部改成SpringBoot。SpringMvc的项目逐步切向SpringBoot，这可能是一个趋势，就连redis、dubbo、kafka这些常用并且很重要的开源框架也提供了SpringBoot的版本，微服务化越来越简单、规范。 在项目中遇到Kafka的多配置，SpringMvc下采用不同的bean的方式配置多个数据源，网上的资料虽然有很多，但是都是通过原生的...
Spring Boot 整合 Kafka 分布式消息系统快速入门
蚩尤后裔-汪茂雄
11-22 5023
1、Spring boot 对 kafka 的配置以 spring.kafka.* 开头，官网提供了大量的配置选项，通常情况下，绝大部分选项直接使用默认值即可。 2、比如应用只用来发送消息时，则 spring.kafka.consumer.* 不用配置，应用只用了接收消息时，则 spring.kafka.producer.* 不用配置。比如：
springboot整合kafka多数据源
weixin_56227932的博客
08-14 1279
在很多与第三方公司对接的时候，或者处在不同的网络环境下，比如在互联网和政务外网的分布部署服务的时候，我们需要对接多台kafka来达到我们的业务需求，那么当kafka存在多数据源的情况，就与单机的情况有所不同。 配置 单机的情况 如果是单机的kafka我们直接通过springboot自动配置的就可以使用，例如在yml里面直接引用 在使用的时候直接注入,然后就可以使用里面的方法了 多数据源情况下本篇文章主要讲的是在多数据源下的使用，和单机的有所不同，我也看了网上的一些博客，但是当我去按照网上的配置的时候，总是会
搭建大型分布式服务（四十二）SpringBoot 无代码侵入实现多Kafka数据源整合插件发布
最新发布
hanyi_的专栏
06-29 1175
在分布式服务的架构演进中，消息队列作为核心组件之一，承载着解耦、异步、削峰填谷等关键职责。Apache Kafka 作为业界广泛使用的分布式流处理平台，因其高吞吐、低延迟的特性被大量应用在各类大数据场景中。然而，随着业务的复杂度不断提升，如何在 SpringBoot 中高效地整合并管理多个 Kafka 数据源，成为了一个值得探讨的问题。在过去的一段时间里，我们通过系列文章详细阐述了如何在 SpringBoot 中以零代码或极低的代码侵入方式，实现多 Kafka 数据源的整合。
搭建大型分布式服务（三十六）SpringBoot 零代码方式整合多个kafka数据源
hanyi_的专栏
11-17 451
让我们来看一下网上是怎样使用SpringBoot整合kafka数据源的，都存在哪些痛点？手撸kafka配置代码，各种硬编码，无法利用SpringBoot的约定大于配置的优势。当项目需要消费的topic，而且他们在不同集群时，需要不断地复制粘贴config和factory，如果项目需要5个不同集群的topic以上，那么这些代码将面临巨大维护压力，并且极其容易出错。假如来了个新业务，也是消费kafka，然后做一些业务逻辑处理，你会发现你不得不又搭建一个新工程，然后重复上述步骤，把代码和配置都复制粘贴一遍。
搭建大型分布式服务（二十二）SpringBoot 如何优雅地整合多个kafka数据源？
hanyi_的专栏
08-19 2408
系列文章目录 文章目录系列文章目录前言一、本文要点二、开发环境三、创建项目四、修改项目五、测试一下六、小结 前言 在日常开发当中，经常会遇到需要消费的topic不在同一个kafka集群内，这时候需要配置多个数据源，如何优雅地完成这个配置呢？ 一、本文要点 接前文，我们已经在项目里集成了kafka。本文将介绍如何优雅地整合多个kafka数据源。系列文章完整目录 springboot 整合多个kafka数据源 springboot 整合多个消费者topic kafka listener 配置f
springboot多kafka配置
小流慢影
05-15 4528
【代码】springboot多kafka配置。
SpringBoot整合多数据源，并支持动态新增与切换（详细教程）
qq_35989920的博客
07-17 6600
SpringBoot整合多数据源，并支持动态新增与切换（详细教程）
Springboot Druid多数据源 多线程
05-14
总结起来，这个项目展示了如何利用Spring Boot和Druid实现多数据源切换，以及如何在Spring Boot中配置和使用多线程来提升数据库操作的并发性能。对于初学者，这是一个很好的学习资源，可以深入理解Spring Boot的自动...
springboot多数据源配置
11-17
在Spring Boot应用中，多数据源配置是一种常见的需求，特别是在大型企业级项目中，可能需要连接到多个数据库，比如主数据库用于处理核心业务，从数据库用于读取大量数据或者进行数据分析。Spring Boot提供了灵活的...
springboot-kafka:springboot-kafka
03-13
在压缩包子文件的文件名称列表中，"springboot-kafka-master"通常表示这是项目的主要分支或者源码仓库的主目录，其中可能包含了项目的配置文件、源代码、README文档等。 基于以上信息，我们可以深入探讨以下几个...
SpringBoot集成kafka完整框架源码IDEA
03-26
SpringBoot集成Kafka是...通过上述步骤，我们可以轻松地在SpringBoot应用中创建和使用Kafka生产者和消费者，从而构建出高效的数据传输和处理系统。对于Java Web开发者来说，掌握这项技术是提高项目效率和灵活性的关键。
springboot整合rabbitMq和多数据源动态切换和跨域访问和gradle加maven和shiro安全框架和lombok自动getset生成
05-21
标题中的“springboot整合rabbitMq和多数据源动态切换和跨域访问和gradle加maven和shiro安全框架和lombok自动getset生成”表明这是一个关于Spring Boot集成多个技术的项目。以下是对这些技术及其整合的详细解释： 1...
Spring Boot配置多个Kafka数据源
qq_45443475的博客
10-19 2498
Spring Boot配置多个Kafka数据源
在springboot项目中引入Kafka
weixin_52293201的博客
05-21 1991
最后一步，打开浏览器测试。
[springboot配置Kafka] springboot配置多个kafka,包含账号密码
ai_haibin的博客
06-28 3826
springboot 配置多个kafka
Springboot 配置使用 Kafka
friggly的博客
02-22 1万+
As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是 RabbitMq，RocketMq 是阿里巴巴的产品，性能超过 RabbitMq，已经经受了多年的双11考验，但是怕哪天阿里不维护了，用的人不多，Kafka 是吞吐量最大的一个，远超前两个，支持事务、可保证消息的不丢失（网上说的事务和消息可靠性不支持是说的旧版，2以后就开始支持了），对比来讲，Kafka相对于前两个，只有一个劣势，不太支持延时队列，其他方面都要优于它们。
SpringBoot集成Kafka详解
热门推荐
qq_20865839的博客
10-20 1万+
我们知道，kafka中每个topic被划分为多个分区，那么生产者将消息发送到topic时，具体追加到哪个分区呢？这就是所谓的分区策略，Kafka 为我们提供了默认的分区策略，同时它也支持自定义分区策略。其路由机制为：1.若发送消息时指定了分区（即自定义分区策略），则直接将消息append到指定分区；
springboot kafka整合多生产者多消费者
07-15
### 回答1： Spring Boot是一款用于简化Spring应用程序开发的框架，而Kafka是一款高性能的分布式消息系统。在Spring Boot中整合Kafka可以实现多生产者多消费者的功能。 首先，我们需要在pom.xml文件中添加Kafka的依赖： ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> ``` 接下来，我们需要配置Kafka的相关信息。在application.properties文件中添加Kafka的相关配置项，包括Kafka服务器地址、生产者和消费者的配置等。 然后，我们需要创建生产者和消费者的类。对于生产者，可以使用KafkaTemplate来发送消息，通过指定Topic名称和消息内容来发送消息： ```java @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } ``` 对于消费者，我们可以使用@KafkaListener注解来订阅指定的Topic，然后通过处理方法来处理接收到的消息： ```java @KafkaListener(topics = "topic-name") public void receiveMessage(String message) { // 处理接收到的消息 } ``` 最后，我们需要在应用程序启动时配置Kafka的相关配置。可以使用@Configuration注解来定义一个配置类，并在类中配置Kafka的相关信息。然后，在应用程序启动时，通过@SpringBootApplication注解来扫描配置类。 通过以上的步骤，我们就可以实现Spring Boot与Kafka的整合，并实现多生产者多消费者的功能。当有新的消息发送到Kafka的Topic时，消费者将能够接收到并进行相应的处理。 ### 回答2： Spring Boot是一个开源的Java框架，可用于快速开发基于Spring的应用程序。而Kafka是一个分布式的流处理平台，它能够将大量数据流进行高效地处理和传输。 在Spring Boot中整合Kafka，可以实现多生产者和多消费者的功能。首先，在项目的pom.xml文件中添加Kafka相关的依赖，例如： ``` <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> ``` 然后，在application.properties文件中配置Kafka的连接信息，包括Kafka的地址、端口等： ``` spring.kafka.bootstrap-servers=localhost:9092 ``` 接下来，创建生产者的代码。在Spring Boot中，可以使用KafkaTemplate来发送消息。例如，通过向topic发送消息： ``` @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String message) { kafkaTemplate.send("topicName", message); } ``` 创建消费者的代码也很简单。在Spring Boot中，可以使用@KafkaListener注解来监听特定的topic，并在接收到消息时执行相应的方法。例如： ``` @KafkaListener(topics = "topicName", groupId = "groupId") public void receiveMessage(String message) { // 处理接收到的消息 } ``` 最后，为了支持多个生产者和消费者，可以在配置文件中配置多个topic和groupId。每个生产者和消费者可以发送和接收不同的topic消息，并使用不同的groupId进行消费。这样就实现了Spring Boot中多生产者和多消费者的整合。 通过以上步骤，我们就可以在Spring Boot中实现Kafka的多生产者和多消费者功能。无论是发送消息还是接收消息，都可以得到很好的扩展和灵活性。 ### 回答3： 在Spring Boot中整合Kafka实现多生产者和多消费者的过程相对简单。首先，我们需要在pom.xml文件中添加Kafka的依赖： ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> ``` 接下来，我们需要在application.properties或application.yml配置文件中配置Kafka的相关属性，包括Kafka服务器地址、端口、消费者和生产者的配置等。 接下来，我们可以创建一个生产者实例来发送消息： ```java import org.springframework.beans.factory.annotation.Autowired; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.stereotype.Component; @Component public class KafkaProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } } ``` 通过使用注入的KafkaTemplate实例，我们可以调用send方法来发送消息到指定的主题。 然后，我们可以创建一个消费者实例来接收消息： ```java import org.springframework.kafka.annotation.KafkaListener; import org.springframework.stereotype.Component; @Component public class KafkaConsumer { @KafkaListener(topics = "topicName") public void receiveMessage(String message) { System.out.println("Received message: " + message); } } ``` 通过使用@KafkaListener注解来监听指定的主题，当有消息到达时，Kafka会自动调用receiveMessage方法来处理接收到的消息。 如果我们需要使用多个生产者和消费者，只需要在相应的类上添加不同的注解和配置即可。 综上所述，通过Spring Boot的Kafka整合，我们可以轻松实现多个生产者和多个消费者之间的消息传递。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爪哇驿站

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值