redis反序列化

问题背景

最近在项目中发现一个Redis客户端存入数字类型数据后读取报错的有趣问题,经排查将问题化简为测试用例如下:

如上图所示,测试通过说明Long类型数据正常存入Redis后,赋值给Long类型变量或调用getClass方法都会抛出异常,具体异常信息为java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.Long。虽然RedisTemplate限定了存取Redis值的泛型为Long类型,但实际取出时自动转型为Integer,导致抛出异常。

需要弄清楚以下疑问:

  • 存入Long类型对象为何取用时会转换为Integer,泛型无效?
  • 存入Long类型独享取值时转换为Integer类型是否会导致数据精度丢失?
  • 除了Long类型是否还有其他类型数据存在类似问题?

原因分析

Java的泛型其实是编译期检查,编译后泛型擦除(具体可查阅官方解释 https://docs.oracle.com/javase/tutorial/java/generics/erasure.html),导致即便通过泛型限定为Long类型实际运行赋值时也可能被设置为其他类型。

Redis客户端存储对象时,需要通过序列化器将对象转化为字符串进行存储。默认情况下对象序列化器使用的是JdkSerializationRedisSerializer,该序列化器将对象转化byte数组进行存储。

由于默认序列化器需要存入对象必须实现Serializable接口,转化效率低及数据可读性差等问题存在,通常大部分项目会改用Jackson2JsonRedisSerializer或FastJsonRedisSerializer将对象转化为json进行序列化及反序列化。

跟踪源码得知数字对象反序列化的核心处理逻辑是在PaserBase类的getNumberValue中进行实现

由上图得知,数字整型能转换为Integer类型就直接返回Integer类型,如果不能则转换顺序依次按Integer、Long、BigInt、BigDecimal尝试进行转换。浮点型数据默认转型为Double,精度超出Double范围时转换为BigDecimal。

编写测试类进行验证(为简化用例,直接用ObectMapper进行序列化与反序列,原理相同)

测试通过符合预期。

FastJson及Gson对数字对象的反序列处理逻辑与Jackson类似,这里不再展开。

问题总结

经上述分析可以回答问题背景中的疑问

  • 由于JAVA的泛型擦除机制,导致泛型并不能完全限制住运行时返回对象的类型
  • Json反序列化不会导致精度丢失,会根据精度需要自动改变类型
  • 基础数据类型及封装类需要在Json反序列化时需注意类型变化,默认整型转化为Integer,浮点型转换为Double

解决方案

  • 方案一(不推荐)

    不覆写redisTemplate,使用默认序列化器(JdkSerializationRedisSerializer),关键代码如下

     
      
    1. ValueOperations<String, Object> valueOperations = defaultRedisTemplate.opsForValue();
    2. valueOperations.set(key, originalValue);
    3. Long extractionValue = (Long) valueOperations.get(key);

    该方案存取性能及value可读性都较差,且要么影响全局要么需要两个不同的redisTemplate实例,因此不推荐

  • 方案二(不推荐)

    取值时先判断类型是否为Integer再进行转换,关键代码如下

     
      
    1. ValueOperations<String, Object> valueOperations = redisTemplate.opsForValue();
    2. Long extractionValue;
    3. Object redisValue = valueOperations.get(key);
    4. if (redisValue instanceof Integer) {
    5. extractionValue = ((Integer) Objects.requireNonNull(valueOperations.get(key))).longValue();
    6. } else {
    7. extractionValue = (Long)valueOperations.get(key);
    8. }

    由于Json序列化器在取值时整型对象默认会反序列化为Integer,可对返回值类型进行判断处理,代码实现较为繁琐。

  • 方案三(推荐)

    改用StringRedisTemplate进行存取,将值转存为字符串型,取出时明确指定转换类型

     
      
    1. ValueOperations<String, String> valueOperations = stringRedisTemplate.opsForValue();
    2. valueOperations.set(key, originalValue.toString());
    3. Long extractionValue = Long.parseLong(Objects.requireNonNull(valueOperations.get(key)));
  • 方案四(推荐)

    不使用序列化器,直接调用底层execute方法自行反序列化,关键代码如下:

 
  1. Long extractionValue = redisTemplate.execute((RedisCallback<Long>) con -> {
  2. byte[] value = Optional.ofNullable(con.get(key.getBytes())).orElse(new byte[0]);
  3. return Long.parseLong(new String(value));
  4. });
  • 5
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Redis 反序列化失败时,可能有以下几个原因: 1. 数据损坏:Redis 反序列化过程中,如果存储的数据被篡改或损坏,就会导致反序列化失败。这可能是由于网络传输中的数据损坏、存储介质故障或者手动修改 Redis 数据文件等原因引起的。 2. 序列化格式不匹配:Redis 支持多种序列化格式,如默认的 RDB 文件格式、JSON、MessagePack 等。如果在反序列化时使用了错误的序列化格式,就会导致反序列化失败。确保在反序列化时使用与序列化时相同的格式。 3. 序列化库版本不匹配:Redis 使用不同的序列化库来进行数据的序列化和反序列化。如果在反序列化时使用了与序列化时不兼容的序列化库版本,可能会导致反序列化失败。确保在序列化和反序列化过程中使用相同版本的序列化库。 4. 类型不匹配:在进行 Redis 反序列化时,如果目标对象的类型与实际存储的数据类型不匹配,就会导致反序列化失败。确保反序列化的目标对象类型与序列化时的对象类型相同。 5. 自定义序列化逻辑问题:如果使用了自定义的序列化逻辑,可能存在错误或者不完整的实现,导致反序列化失败。检查自定义序列化逻辑的正确性和完整性。 在遇到 Redis 反序列化失败时,可以通过检查日志和错误信息来判断具体的原因,并根据实际情况采取相应的处理措施。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有马大树

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值