spring boot使用Java并行流发送kafka消息报错

已于 2023-04-10 10:28:09 修改
阅读量433 收藏
点赞数 1
文章标签： java kafka spring boot
于 2023-04-09 23:33:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javalover123888/article/details/130050351
版权
在生产环境中，使用Spring Boot应用通过Java并行流发送Kafka消息时，偶现报错Invalid value org.apache.kafka.common.serialization.StringSerializer。分析认为可能是由于fat jar的类加载器问题导致。临时解决方案是增加异常处理，而最终方案包括不使用并行流或自定义线程池避免类加载问题。问题的根源在于BootClassLoader无法加载BOOT-INF目录下的类，而并行流使用了JDK的线程池导致。建议使用自定义ForkJoinPool避免并发问题。
摘要由CSDN通过智能技术生成

一、背景

  • 公司业务分 2个Kafka，我们组一个，其他组公用一个
  • 我们组有2个业务在 Java并行流中发消息到 其他组的Kafka，一个是 批量管理接口(app接口公用底层方法，不是批量的，没有用 并行流)，另一个是 消费我们组Kafka消息然后发送。
  • 使用 spring-boot-maven-plugin 打包，发布到生产环境以后，偶尔会接到 发送消息到其他组Kafka报错告警，Invalid value org.apache.kafka.common.serialization.StringSerializer for configuration key.serializer: Class org.apache.kafka.common.serialization.StringSerializer could not be found.

二、临时方案

  1. 查了 测试、开发 环境 最近1个月的日志，没有出现过这个错误
  2. 网上搜索的结果，应该是 类加载器的问题
  3. 本地 IDEA开发工具 启动程序、打包jar运行，访问 app接口，都没有重现
  4. 生产环境第一次以后就正常，并且没有重现的情况下，不敢修改上线，只能先加异常处理

三、原因分析

  • 类加载器不一样
  • 使用 spring-boot-maven-plugin 打包出来是 fat jar，其中 BOOT-INF/lib/ 存放依赖jar，BOOT-INF/classes/ 存放项目的 classes，使用spring自定义的 ClassLoader 加载
  • 业务处理使用了parallelStream包括发kafka消息&#
最低0.47元/天 解锁文章
Spring Boot Kafka Example
AI天才研究院
07-30 1047
Kafka是一个分布式消息系统，它可以实现消息的持久化、高并发量处理以及实时的可靠传输。相比于其他消息队列中间件（例如RabbitMQ、ActiveMQ），其最大的优点在于它提供的跨越语言的API支持，支持多种编程语言的客户端。作为一种轻量级的分布式消息传递系统，它能够很好的满足互联网、移动互联网等领域的实时性要求。Spring Boot基础知识：通过引入Spring Boot框架，能快速构建可执行的应用；掌握Spring Bean、依赖注入、配置管理等知识；
深入理解 ForkJoinPool：入门、使用、原理
陈树义
09-26 1528
大家好，我是树哥。本文将从一个简单的例子出发，与大家解释为啥要有 ForkJoinPool 的存在。接着向大家介绍 ForkJoinPool 的基本信息及使用，最后讲解 ForkJoinPool 的基本原理。诞生原因对于线程池来说，我们经常使用的是 ThreadPoolExecutor，可以用来提升任务处理效率。一般情况下，我们使用 ThreadPoolExecutor 的时候，各个任务之间都是没...
kafka消息发送过大
xiunai78的专栏
12-09 6582
错误提示 org.apache.kafka.common.errors.RecordTooLargeException:The message is xxxxx bytes when serialized which is larger than the maximum request size you have configured with the max.request.size confi...
Kafka-使用springBoot连接
孙霸天的专栏
03-20 6650
Kafka-使用springBoot连接 注意事项 连接kafka的电脑需要设置hosts如下： 192.168.1.251 node1 192.168.1.252 node2 192.168.1.253 node3 具体根据个人的实际情况配置 maven依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId&g
java发送数据到kafka
最新发布
qq_33192454的博客
09-05 1494
Object o。
【java笔记】java中线程池之ForkJoinPool的原理及使用
zuzhiang的博客
06-27 914
本文参考自CSDN作者 YourBatman 的ForkJoinPool线程池的使用以及原理和知乎作者 欣然 的文章高并发之Fork/Join框架使用及注意事项。 ForkJoinPool 主要用于实现“分而治之”的算法，特别是分治之后递归调用的函数，例如 quick sort 等。 ForkJoinPool 最适合的是计算密集型的任务，如果存在 I/O，线程间同步，sleep() 等会造成线程长时间阻塞的情况时，最好配合使用 ManagedBlocker。 1. 实例 计算从1到100000的累计和
forkJoin集成spring boot
qq_41886299的博客
02-18 1505
forkJoin集成spring boot处理大量数据添加 import com.wugui.datax.admin.entity.JobModel; import com.wugui.datax.admin.entity.JobModelLog; import com.wugui.datax.admin.service.DatasourceQueryService; import com.wugui.datax.admin.service.JobModelLogService; import com..
Invalid value org.apache.kafka.common.serialization.StringDeSerializer for configuration key.deseria
灵魂和肉体总要有一个在路上
01-11 2578
加上Class.forName便能解决，这好像和kafka类加载机制有关 //设置key反序列化器 properties.put("key.deserializer", Class.forName("org.apache.kafka.common.serialization.StringDeserializer")); //设置值反序列化器 properties.put("value.deserializer", Class.forName("
Spring Boot 3.X 中 Kafka 消息传递实现详解
资源摘要信息:"如何在 Spring Boot 3.X 中使用 Kafka 实现消息传递功能？（2）" 知识点概述： 1. Kafka基础知识： - Kafka是一种分布式流处理平台，用于构建实时数据管道和流应用程序。 - 它支持高吞吐量的数据...
spring-boot-kafka-video-consumer:用于从 kafka 主题消费视频的 Spring Boot 示例
06-14
在本项目"spring-boot-kafka-video-consumer"中，我们主要关注的是如何使用Spring Boot集成Apache Kafka来消费视频数据。Kafka是一个分布式流处理平台，它允许我们在微服务架构中高效地处理实时数据流。而Spring ...
Meetup-Data-Analytics:使用Spring Boot，Apache kafka，Apache Spark，MongoDB的Meetup数据分析
03-31
在本项目"Meetup-Data-Analytics"中，开发者运用了一系列先进的技术栈，包括Spring Boot、Apache Kafka、Apache Spark以及MongoDB，来实现对Meetup平台数据的高效分析。这是一套典型的大数据处理和分析解决方案，让...
docker 部署 kafka
luwei__的博客
09-01 915
需要先安装好docker和docker-compose 1、新建docker-compose.yml 文件 [root@localhost kafka]# cat docker-compose.yml version: '3' services: zookeeper: image: wurstmeister/zookeeper ports: - 2181:2181 privileged: true kafka: image: wurstmeister/k
自动注入报错
weixin_40904124的博客
04-27 930
org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'com.baizhi.service.TestUserService': Unsatisfied dependency expressed through field 'userService'; nest...
springboot2.6.5 下配置ForkJoinPool线程池大小
langyan122的专栏
03-01 899
【代码】springboot2.6.5 下配置ForkJoinPool线程池大小。
SparkStreaming消费kafka数据时出现序列化问题 org.apache.kafka.common.serialization.StringDeserializer could not b
weixin_46376562的博客
06-22 1618
查了好多资料，说什么类加载机制什么的，但改了依然无效，经查阅Spark官方文档和kafka官方的文档后，得以解决，不得不说，官方文档还是厉害环境，pom文件如下： IntelliJ IDEA 2022.1.2 (Ultimate Edition) 官方文档 kafka 官方文档 SparkStreaming 官方文档 报错写法（后来也是可以用的）......
自定義 ForkJoinPool 線程池，并消除classLoader加载失败的问题
java 大叔的博客
03-20 524
自定義 ForkJoinPool 線程池，并消除classLoader加载失败的问题 添加 setContextClassLoader 写入classLoader 信息 import java.util.concurrent.ForkJoinPool; import java.util.concurrent.ForkJoinWorkerThread; /** * 自定義 ForkJoinPool 線程池 * @Description:ThreadPool * @author:callen *
kafka消费者报错：Class org.apache.kafka.common.serialization.StringDeserializer could not be found.
热门推荐
yixiaoqi2010的专栏
04-03 1万+
org.apache.kafka.common.config.ConfigException: Invalid value org.apache.kafka.common.serialization.StringDeserializer for configuration key.deserializer: Class org.apache.kafka.common.serialization.S...
SpringBoot集成Kafka版本不兼容导致出现错误
refire
01-09 2748
SpringBoot集成Kafka版本不兼容导致出现错误
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值