protobuf 3遇到 kryo 的 Map 字段序列化问题

最新推荐文章于 2024-08-18 22:38:49 发布
最新推荐文章于 2024-08-18 22:38:49 发布
阅读量1.7k 收藏
点赞数
分类专栏： Java生态圈
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uniquewonderq/article/details/105432948
版权
在服务A、B、C、D的通信中，由于字段协议变更，B服务在尝试使用Kryo序列化 Protobuf 3的Map字段时遇到问题。原本计划直接透传Map避免修改，但Kryo不支持protobuf内部的Map类型导致序列化失败。解决方案包括：1) 曲线救国，将Map转换为repeated message；2) 改变C服务的RPC序列化方式为protobuf。但由于可能影响其他服务，第二种方案被搁置。
摘要由CSDN通过智能技术生成
背景

有A ,B,C，D 四个服务 序列化关系如下，其中C服务是一个rpc服务，供很多的服务调用。
在这里插入图片描述

由于我是B服务和C服务的维护者，此时A服务和D服务的通信经由我，由于pb字段协议变更。我这个桥梁不得不做变动。

报错

于是这次增加了一个map字段，意味着你们有变动，放到map，我直接透传就好了。想法很丰满，现实很骨干。

Caused by: com.esotericsoftware.kryo.KryoException: Error during Java serialization.
        at com
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Think_Higher
关注
专栏目录
订阅专栏
Unity 中使用Protobuf进行序列化和反序列化的Demo
01-27
本Demo将展示如何在Unity中集成并使用Protobuf进行数据的序列化和反序列化操作。 首先，你需要了解什么是序列化和反序列化。序列化是将对象的状态转换为可以存储或传输的数据格式的过程，而反序列化则是将这些数据...
java kryo_kryo序列化 - Java序列化期间的错误
weixin_39972567的博客
02-16 1246
我的应用程序有大量域对象，它们通过spring-session被序列化到Redis存储中。我试图使用Kryo(4.0.0)进行自动序列化，而不使对象明确可序列化。kryo序列化 - Java序列化期间的错误我在尝试序列化尚未实现的对象Serializable时收到以下错误。com.esotericsoftware.kryo.KryoException: Error during Java seri...
redission自定义hessian序列化
寂夜了无痕的博客
08-10 1347
redisson 自定义hessian 序列化
【protobuf】ProtoBuf——proto3语法详解、oneof类型、map类型、默认值、通讯录添加联系方式和备注的功能实现
最新发布
Crocodile1006的博客
08-18 1246
ProtoBuf、proto3语法详解、oneof类型、map类型、默认值、通讯录添加联系方式和备注的功能实现
Spring Boot 整合 Redisson 缓存性能客户端(2023-03-06)
志豪的博客
03-06 1057
Redisson是一个在Redis的基础上实现的Java驻内存数据网格（In-Memory Data Grid）。
redisson使用过程常见问题汇总
日拱一卒无有尽，功不唐捐终入海
09-11 1984
可以将Redisson的string类型数据的序列化方式配置为指定的编码方式。1. 第一种使用配置json文件 在application.properties 中使用。如果使用jackson导致序列化字符串后，字符串带两个双引号，导致获取的时候查出来为空。导致有的配置的变量名已经变更，使用老的配置项名称已经无法映射的配置对象上，如。如果redis服务器没有配置密码，则配置文件里面不能出现密码配置。如果服务端配置了密码，则配置文件中需要配置密码，不然错误信息如下。解决方法配置字符串序列化。
Dubbo泛化调用强制返回Map问题，实现自定义返回值序列化逻辑
学无止步的博客
12-30 1234
什么是泛化调用 泛化接口调用方式主要用于客户端没有 API 接口及模型类元的情况，参数及返回值中的所有 POJO 均用 Map 表示，通常用于框架集成，比如：实现一个通用的服务测试框架，可通过 GenericService 调用所有服务实现。 官方文档 说白了，消费者可以在没有Interface接口的情况下去调用远程服务，由于没有接口和模型类元，消费者必须手动指定要调用的接口名、方法名、参数列表、版本...
今天踩的Dubbo的序列化对象的一个坑
洱涷zZ的博客
08-19 2509
Dubbo序列化对象的一个坑 ​ --洱涷Zz ​ 今天在处理项目问题的时候遇到了Dubbo序列化对象的一个坑，记录一下： ​ 大致是同事在调用Dubbo rpc接口的时候发现返回的值和预期的返回值不符，预期是返回一个对象的集合，但是返回的集合里是hashMap，查看他们代码解决后是发现他们的消费者端对返回对象的路径定义与我们服务提供者端的路径不一致，导致返回的数据和预期不符。这个解决起来很简单，保持路径一致就可以。（最好就是将对象定义成公共的，可以很好
protobuf序列化和反序列化技术
12-28
谷歌推出的Protocol Buffers（简称protobuf）是一种语言无关、平台无关的数据序列化协议，它能将结构化的数据序列化成字节流，方便在网络中进行高效、可靠的传输，同时也能将这些字节流还原为原来的结构化数据，即反...
protobuf常用序列化和反序列化API
06-29
**protobuf常用序列化和反序列化API** protobuf（Protocol Buffers）是Google开发的一种数据序列化协议，广泛应用于网络通信、数据存储等领域。它提供了一种高效、灵活且跨平台的方式来编码和解码结构化数据。...
Python调用序列化数据工具Protocol Buffers——protobuf
10-22
3. **序列化与反序列化**: 序列化是将结构化数据转换为二进制流的过程，而反序列化则是将二进制流恢复为原始结构化数据。 ### 二、protobuf安装与使用 1. **安装protobuf**: 可通过pip在Python环境中安装protobuf...
protobuf对象二进制序列化存储(详解)
01-01
首先下载protobuf库，可以用Nuget。 demo： using System; namespace Tools { public class BufHelp { /// /// 对象锁 /// private readonly static Object Locker = new Object(); ///// ///// 读写...
jackson 序列化 返回值为map类型时，key为Object的情况
u012480148的博客
12-27 5843
在feign中，返回值类型为Map< ObjectA, ObjectB>的情况时，发送jackson序列化失败，导致服务熔断，错误日志信息为 Can not find a (Map) Key deserializer for type 接口如下： ResponseEntity<Map<EntityDto,List<XwbqDto>> mutiple...
SpringBoot：自定义类型的属性如何从配置文件中正确加载
netyeaxi的专栏
03-18 724
自定义类型的属性如何从SpringBoot配置文件中正确加载
com.esotericsoftware.kryo.KryoException: java.lang.IndexOutOfBoundsException的解决办法
热门推荐
谢彬のCSDN专栏
02-15 1万+
今天访问系统的管理后台的时候，突然间弹出一个很大的500错误： 然后下载日志查看，发现报了下面的错误： com.esotericsoftware.kryo.KryoException: java.lang.IndexOutOfBoundsException 想想发现provider的pojo中增加了两个字段，然后发布到了服务器，consumer没有同步更新； 按照正常的理解是我是增加...
Kryo序列化与反序列化两种方式
weixin_41939278的博客
09-07 7180
1、第一种是序列化对象到byte[]，具体代码示例如下： 1.1 要序列化的对象类Simple.java： package kryoserializabletest; import java.io.Serializable; import java.util.Map; /** * Created by 0262000099 on 2018/9/6. */ public class Si...
springboot2.7.3升级到springboot3.2.3踩坑指北
robotABC的博客
04-01 1480
springboot从2.7.3升级最新版本3.2.3
redission 升版后引发的问题
weixin_42555971的博客
03-15 1578
但项目的 springboot 版本用的是 2.7.18，所以要使用 redisson-spring-data-27，参考文档：https://github.com/redisson/redisson/tree/master/redisson-spring-data。可以看到 redisson-spring-boot-starter 版本 3.22.0 里面的 redisson-spring-data 是 redisson-spring-data-31。于是下载了 open-jdk，测试发现没有问题。
jQuery Ajax 请求报长度过长的错误：Error during serialization or deserialization using the JSON JavaScriptSeria...
weixin_30920091的博客
06-11 1908
{"Message":"Error during serialization or deserialization using the JSON JavaScriptSerializer. The length of the string exceeds the value set 在web项目的web.config <configuration>节下增加 <sys...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Think_Higher

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值