kafka+protobuf+java_spring boot 使用kafka

最新推荐文章于 2024-06-02 11:49:07 发布

易投顾

最新推荐文章于 2024-06-02 11:49:07 发布

阅读量967

点赞数

文章标签： kafka+protobuf+java

本文链接：https://blog.csdn.net/weixin_35701696/article/details/114586111

版权

本文介绍了如何在Spring Boot应用中集成Kafka，并配置生产者和消费者的相关参数。通过启用@EnableKafka注解开启Kafka支持，然后在application.properties中设置服务器地址、序列化和反序列化方式等。示例代码展示了如何发送和接收protobuf格式的消息，使用KafkaTemplate发送字符串消息，以及通过@KafkaListener监听并解析protobuf消息。

摘要由CSDN通过智能技术生成

org.springframework.kafka

spring-kafka

spring-kafka version会使用spring boot 对应版本

启用spring-kafka

在spring boot 配置类上添加

@EnableKafka

配置kafka

在application.properties中添加配置

生产者

#Kafka producer

spring.kafka.producer.bootstrap-servers=168.61.2.47:9092,168.61.2.48:9092,168.61.2.49:9092

spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer

spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.ByteArraySerializer

spring.kafka.producer.batch-size=65536

spring.kafka.producer.buffer-memory=524288

消费者者

#Kafka consumer

spring.kafka.consumer.group-id=thfx00

spring.kafka.consumer.auto-offset-reset=earliest

spring.kafka.consumer.bootstrap-servers=168.61.2.47:9092,168.61.2.48:9092,168.61.2.49:9092

spri

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

易投顾

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

记一次SpringBoot2.x整合Kafka及ProtoBuf实现信息序列化传输

fuu123f的博客

10-28

3941

前言 ProtoBuf简介 protocol buffers 是一种语言无关、平台无关、可扩展的序列化结构数据的方法，它可用于（数据）通信协议、数据存储等。简单来讲， ProtoBuf 是结构数据序列化方法，可简单类比于 XML，其具有以下特点：语言无关、平台无关。即 ProtoBuf 支持 Java、C++、Python 等多种语言，支持多个平台高效。即比 XML 更小（3 ~ 10倍）、更快（20 ~ 100倍）、更为简单扩展性、兼容性好。你可以更新数据结构，而不影响和破坏原有的旧程序

kafka+protobuf+java_基于Kafka+SparkStreaming+HBase实时点击流案例

weixin_42363854的博客

02-24

393

背景Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据，并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑，Spark 1.3版本后支持两种整合Kafka机制(Receiver-based Approach 和 Direct Approach)，具体细节请参考文章最后官方文档链接，数据存储使用HBase实现思路实现Kafka消息生产者模拟器Spark-Streaming采用Di...

参与评论您还未登录，请先登录后发表或查看评论

spring-kafka-protobuf:在您的Spring-boot项目中使用kafka和protobuf

05-02

Spring-kafka-protobuf 运行 java -jar target/spring-kafka-protobuf-0.0.1-SNAPSHOT.jar curl -v 'http://localhost:8080/rest/n/spring/kafka/protobuf/demo' 查看并检查弹簧日志

SpringBoot整合kafka及ProtoBuf实现跨平台跨语言的信息交互

10-28

SpringBoot2.x整合Kafka实现消息中间件的发送及消费监听业务，其序列化方式采用ProtoBuf协议实现跨平台、跨语言的数据传输方式。

搭建大型分布式服务（三十八）SpringBoot 整合多个kafka数据源-支持protobuf

hanyi_的专栏

06-02

1127

本插件稳定运行上百个kafka项目，每天处理上亿级的数据的精简小插件，快速上手。< dependency > < groupId > io.github.vipjoey < artifactId > multi-kafka-consumer-starter < version > 最新版本号

【Kafka精进系列004】Spring Boot + Kafka消息生产与消费代码示例

noaman_wgs的博客

12-29

3624

通过本文，你可以学到： (1)Kafka生产者异步发送API介绍； (2)Kafka生产者消息发送的代码实现； (3)Kafka生产者发送的消息不丢失的配置参数； (4)Kafka消费者常见的两种消费方案设计（单实例与多实例以及多线程消费）； (5)Spring Boot整合Kafka实现Kafka生产与消费的完整过程

[Kafka] 在 SpringBoot 项目中使用 Kafka

weixin_42902669的博客

04-10

2200

在 SpringBoot 项目中安装和使用 Kafka

spring boot 整合amqp+protobuf协议+spark+spark Stream kafka的包依赖pom.xml

swjtu_yhz的博客

01-22

744

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 4.0.0 xxx.xxx xxxxxxxx 0.0.1-SNAPSHOT jar xxxxx-xx-xxxxx xxxxxxxxxxxx org.spri

protobuf 3.5 java使用介绍（一）

热门推荐

fangxiaoji的专栏

12-17

6万+

protobuf 3.5 java使用介绍（一）网上大多的资料都是老版本的protobuf例子，正好用到了这个技术，我就把protobuf 3.5的使用方法记录一下，重点写了使用方法以及注意事项。proto描述文件的编写语法 3.5的语法跟以前的protobuf语法有很大的变化，详细的可以参考官方文档，地址：https://developers.google.com/protocol-buf

spring boot protobuf demo

07-05

spring boot protobuf demo

kafka-connect-protobuf-converter:用于Kafka Connect的Protobuf转换器插件

05-23

kafka连接protobuf转换器转换器插件。转换器控制将数据写入源连接器的Kafka或从Kafka接收器的连接器读取的数据格式。兼容性 2.x版本系列与Kafka Connect 5.x兼容。以及更高版本（较早的版本已经过验证，可以一直使用到Kafka Connect 3.2.0，尽管我们强烈建议您更新到最新版本）。注意：此转换器仅适用于proto3协议缓冲区架构。用法将kafka-connect-protobuf-converter jar和包含已编译协议缓冲区的jar复制到Kafka Connect实例上的/usr/share/java/kafka-serde-tools ，然后重新启动Kafka Connect。可以在每个连接器的基础上指定转换器。要在Kafka Connect中使用protobuf转换器，请将该转换器指定为键和值转换器，并指定要用于反序列

kafka-protobuf-serde:用于Kafka的SerializerDeserializer，用于对协议缓冲区消息进行序列化

05-13

Kafka-protobuf-serde 分支特拉维斯CI CodeFactor 编纂更好的代码中心连体服掌握开发 Kafka的序列化器/反序列化器，用于对协议缓冲区消息进行序列化/反序列化要求相依性版本卡夫卡 2.XX 原虫 3.XX Java 8+ 用法将以下内容添加到您的Maven依赖项列表中： < dependency> < groupId>com.github.daniel-shuy</ groupId> < artifactId>kafka-protobuf-serde</ artifactId> < version>2.2.0</ version> </ dependency> 用您要使用的Protobuf版本覆盖protobuf.version属性（警告：请勿直接覆盖protobuf-java依赖版

kafka+protobuf+java_如何配置Spring Cloud 流（kafka）以使用protobuf作为序列化

weixin_39976748的博客

02-24

340

我使用Spring Cloud 流(kafka)在生产环境者和消费者微服务之间交换消息 . 它与本机java序列化交换数据 . 根据Spring Cloud 文档，它支持JSON，AVRO序列化 .有没有人在spring Cloud 流中尝试过protobuf序列化(消息转换器)----------------后来添加我写了这个MessageConverterpublic class Prot...

Kafka与Spring的集成

IT老兵

01-15

297

[b]producer[/b] [code="java"] public class KafkaServiceImpl implements KafkaService { private Producer inner; private Properties properties; public void setInner(Producer inner) { ...

Springboot+Kafka

MyHerux的博客

11-20

690

1. Overview Kafka Documentation Spring for Apache Kafka 2. Kafka 搭建 Mac 安装 Kafka 3. 初试依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>sp...

kafka2.0-使用protobuf实现序列化_08

yangyaming's blog

09-09

1万+

上一篇文章中讲了json和jdk的序列化方式，这里讲使用protobuf类序列化 protobuf的介绍 Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。 ...

java protobuf使用

数据技术控

10-28

1025

protoc.exe --java_out=./ msg.proto vi msg.proto option java_package = "com.protobuftest.protobuf"; option java_outer_classname = "PersonProbuf"; message Person { required string n

【6层】一字型框架办公楼（含建筑结构图、计算书）.zip

最新发布

09-21

【6层】一字型框架办公楼（含建筑结构图、计算书） 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。

kafka springboot配置_Spring Boot 集成 Kafka

06-06

好的，我可以为您提供关于Spring Boot集成Kafka的相关配置。首先，在您的项目中添加Kafka的依赖： ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.5.2.RELEASE</version> </dependency> ``` 接下来，在您的application.properties文件中添加以下Kafka相关的配置： ```properties # Kafka Producer 配置 spring.kafka.producer.bootstrap-servers=localhost:9092 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.springframework.kafka.support.serializer.JsonSerializer # Kafka Consumer 配置 spring.kafka.consumer.bootstrap-servers=localhost:9092 spring.kafka.consumer.group-id=my-group spring.kafka.consumer.auto-offset-reset=earliest spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer spring.kafka.consumer.value-deserializer=org.springframework.kafka.support.serializer.JsonDeserializer spring.kafka.consumer.properties.spring.json.trusted.packages=* ``` 其中，producer和consumer的配置会略有不同，您需要根据自己的需求进行相应的配置。最后，在您的代码中使用KafkaTemplate或者KafkaListener来发送和接收消息即可。比如： ```java @Service public class MyKafkaProducer { @Autowired private KafkaTemplate<String, MyMessage> kafkaTemplate; public void sendMessage(MyMessage message) { kafkaTemplate.send("my-topic", message); } } @Service public class MyKafkaConsumer { @KafkaListener(topics = "my-topic", groupId = "my-group") public void handleMessage(MyMessage message) { // 处理收到的消息 } } ``` 以上就是Spring Boot集成Kafka的基本配置和使用方法，希望对您有所帮助。