Redis 浮点数累计实现

于 2023-07-26 10:34:32 发布
阅读量298 收藏
点赞数
分类专栏： java 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanger5354/article/details/131933813
版权

微信公众号：运维开发故事，作者：老郑

Redis 浮点数累计主要是有两个命令

  • INCRBYFLOAT 是 SET 指令的浮点数累计

  • HINCRBYFLOAT 是 HASH 类型的浮点数累计

在内部 HINCRBYFLOAT 和 INCRBYFLOAT 自增实现相同。所以我们分析 INCRBYFLOAT 即可。

基本使用

直接使用指令

INCRBYFLOAT mykey 0.1
INCRBYFLOAT mykey 1.111
INCRBYFLOAT mykey 1.111111

使用 lua 脚本的方式，因为 redis 可以通过 lua 脚本来保证操作的原子性，所以当我们同时操作多个 key 的时候一般使用 lua 脚本的方式。

eval "return redis.call('INCRBYFLOAT', KEYS[1], ARGV[1])" 1 mykey1 "1.11" 
eval "return redis.call('INCRBYFLOAT', KEYS[1], ARGV[1])" 1 mykey1 "1.11111" 
eval "return redis.call('INCRBYFLOAT', KEYS[1], ARGV[1])" 1 mykey1 "1.11111" 

INCRBYFLOAT 可表示范围

按照官方文档的说法 INCRBYFLOAT 可以表示小数位 17 位。比如按照 jedis 的 api 来说，我们能够使用的就是在 double 的精度范围内，也就是 15-16位。这里我也看了 redis 的源码，他在底层实现是通过 c 语言的 long double 类型来进行计算的。


void incrbyfloatCommand(client *c) {
    long double incr, value;
    robj *o, *new;

    o = lookupKeyWrite(c->db,c->argv[1]);
    if (checkType(c,o,OBJ_STRING)) return;
    if (getLongDoubleFromObjectOrReply(c,o,&value,NULL) != C_OK ||
        getLongDoubleFromObjectOrReply(c,c->argv[2],&incr,NULL) != C_OK)
        return;

    value += incr;
    if (isnan(value) || isinf(value)) {
        addReplyError(c,"increment would produce NaN or Infinity");
        return;
    }
    new = createStringObjectFromLongDouble(value,1);
    if (o)
        dbReplaceValue(c->db,c->argv[1],new);
    else
        dbAdd(c->db,c->argv[1],new);
    signalModifiedKey(c,c->db,c->argv[1]);
    notifyKeyspaceEvent(NOTIFY_STRING,"incrbyfloat",c->argv[1],c->db->id);
    server.dirty++;
    addReplyBulk(c,new);

    /* Always replicate INCRBYFLOAT as a SET command with the final value
     * in order to make sure that differences in float precision or formatting
     * will not create differences in replicas or after an AOF restart. */
    rewriteClientCommandArgument(c,0,shared.set);
    rewriteClientCommandArgument(c,2,new);
    rewriteClientCommandArgument(c,3,shared.keepttl);
}

源码地址：https://github.com/redis/redis/blob/unstable/src/t_string.c long double 是 c 语言的长双精度浮点型，在 x86 的 64 位操作系统上占通常占用 16 字节(128 位)，相较于 8 字节的 double 类型具有更大的范围和更高的精度。（这部分来源于 chatgpt） 因为 redis 采用的 long double 类型来做浮点数计算， 所以 redis 就可以保证到小数点后 17 位的精度。 整数位也可以表示 17 位 redis 的浮点数计算通常情况下会丢失精度吗？ 通常情况下是不会的，但是不能保证一定不会。

浮点数范围测试

测试代码如下：

public class RedisIncrByFloatTest {

    public static void main(String[] args) {
        Jedis jedis = new Jedis("127.0.0.1", 6379);
        BigDecimal decimalIncr = java.math.BigDecimal.ZERO;
        String key = "IncrFloat:Digit100";


        //测试精度
        test_accuracy(jedis, decimalIncr, key);

        //测试正浮点数最大值
        test_max_positive_float(jedis, decimalIncr, key);

        jedis.disconnect();
        jedis.close();
    }

    private static void test_max_positive_float(Jedis jedis, BigDecimal decimalIncr, String key) {
        jedis.del(key);
        String value = "99999999999999999.00000000000000003";
        List<String> evalKeys = Collections.singletonList(key);
        List<String> evalArgs = Collections.singletonList(value);
        String luaStr = "redis.call('INCRBYFLOAT', KEYS[1], ARGV[1]) return redis.call('GET', KEYS[1])";
        Object result = jedis.eval(luaStr, evalKeys, evalArgs);
        decimalIncr = decimalIncr.add(new BigDecimal(value));
        BigDecimal redisIncr = new BigDecimal(String.valueOf(result));

        value = "0.99999999999999996";
        evalKeys = Collections.singletonList(key);
        evalArgs = Collections.singletonList(value);
        luaStr = "redis.call('INCRBYFLOAT', KEYS[1], ARGV[1]) return redis.call('GET', KEYS[1])";
        result = jedis.eval(luaStr, evalKeys, evalArgs);
        decimalIncr = decimalIncr.add(new BigDecimal(value));
        redisIncr = new BigDecimal(String.valueOf(result));


        boolean eq = comparteNumber(redisIncr, decimalIncr);
        if (eq) {
            System.out.println("累计结果正确, 整数位: " + 17 + "位, 结果期望值: decimalIncr " + decimalIncr.toPlainString() + ", 目标值(redis):" + redisIncr.toPlainString());
        } else {
            System.out.println("累计结果不正确, 整数位: " + 17 + "位, 期望值: decimalIncr " + decimalIncr.toPlainString() + ", 目标值(redis):" + redisIncr.toPlainString());
        }
    }

    private static void test_accuracy(Jedis jedis, BigDecimal decimalIncr, String key) {
        jedis.del(key);
        for (int i = 16; i < 30; i++) {
            String value = createValue(i);
            final List<String> evalKeys = Collections.singletonList(key);
            final List<String> evalArgs = Collections.singletonList(value);
            String luaStr = "redis.call('INCRBYFLOAT', KEYS[1], ARGV[1]) return redis.call('GET', KEYS[1])";

            Object result = jedis.eval(luaStr, evalKeys, evalArgs);
            decimalIncr = decimalIncr.add(new BigDecimal(value));
            BigDecimal redisIncr = new BigDecimal(String.valueOf(result));
            boolean eq = comparteNumber(redisIncr, decimalIncr);
            if (eq) {
                System.out.println("累计结果正确, 整数位: " + i + "位, 结果期望值: decimalIncr " + decimalIncr.toPlainString() + ", 目标值(redis):" + redisIncr.toPlainString());
            } else {
                System.out.println("累计结果不正确, 整数位: " + i + "位, 期望值: decimalIncr " + decimalIncr.toPlainString() + ", 目标值(redis):" + redisIncr.toPlainString());
                break;
            }
        }
    }

    private static String createValue(int i) {
        String result = "9" + "0".repeat(Math.max(0, i - 1));
        return result + ".00000000000000003";
    }

    private static boolean comparteNumber(BigDecimal redisIncr, BigDecimal decimalIncr) {
        return decimalIncr.compareTo(redisIncr) == 0;
    }
}

输出结果：

累计结果正确, 整数位: 16位, 结果期望值: decimalIncr 9000000000000000.00000000000000003, 目标值(redis):9000000000000000.00000000000000003
累计结果正确, 整数位: 17位, 结果期望值: decimalIncr 99000000000000000.00000000000000006, 目标值(redis):99000000000000000.00000000000000006
累计结果不正确, 整数位: 18位, 期望值: decimalIncr 999000000000000000.00000000000000009, 目标值(redis):999000000000000000
累计结果正确, 整数位: 17位, 结果期望值: decimalIncr 99999999999999999.99999999999999999, 目标值(redis):99999999999999999.99999999999999999

INCRBYFLOAT 导致精度丢失

INCRBYFLOAT 导致精度丢失有两种情况：

  1. 累计的范围值超过 INCRBYFLOAT 所能表示的最大精度范围，在 double 范围内。

INCRBYFLOAT 底层计算是通过long double 来计算的在 C语言中 long double占用128 位,其范围为: 最小值: ±5.4×10^-4951 最大值: ±1.1×10^4932 能表示的有效数字在34~35位之间。

  1. 我们使用类似 jedis 的 api 提供的是 double 类型的参数，可能在调用之前，参数转换的过程就发生了精度问题。比如
StringRedisTemplate template = new StringRedisTemplate();        
template.opsForValue().increment("v1", 1.3D);

在 RedisTemplate 的这个 increment 接受的参数类型就是一个 double 所以会发生精度问题图片

C 语言长双精度类型

因为 redis 底层采用的是long double 计算，所以这个问题转化为长双精度(long double)为什么没有精度问题? 这是因为 long double 具有更大的范围和更高的精度。long double 的范围和精度高于 double 类型:

  • 范围更大:long double 可以表示更大和更小的数字

  • 精度更高:long double 可以表示的有效数字多于 double 类型这意味着,对于同样的浮点计算,long double 具有更少的舍入误差。

具体来说,几点原因造成 long double 没有精度问题:

  1. long double 使用更多的bit位来表示浮点数。

  2. long double 使用四舍五入(rounding to nearest)而不是银行家舍入(bankers’ rounding),导致更少的误差累加。

  3. 许多编译器及 CPU 针对 long double 具有优化, 会生成精度更高的机器码来执行 long double 计算。

  4. long double 内部采用更大的指数域, 能更准确地表示相同范围内的数字。

综上,long double 的更广范围和更高精度,让它在相同的浮点计算中具有更少的舍入误差。这也就解释了为什么 long double 没有明显的精度问题,因为它天生就是为了提供更高精度而设计的。相比之下,double 使用的位数相对有限,即使采用折中舍入法,在一些场景下它的误差也可能累加显著。所以总的来说,long double 之所以没有精度问题,主要还是源于其更大的范围和更高的内在精度。

问题总结

  1. Redis 浮点数累计操作 INCRBYFLOAT 不适合精度要求比较高的金额计算。

  2. Redis 浮点数累计操作 INCRBYFLOAT 也不能平替 BigDecimal 计算，如果一定需要存储可以考虑通过 lua 脚本实现 CAS 进行修改，最终存储为 String 类型的一个结果。

  3. Redis 的浮点数虽然做了比较好的优化，但是没有从根本解决计算精度问题。

参考文档

  • https://redis.io/commands/incrbyfloat/

  • https://wiki.c2.com/?BankersRounding

  • https://www.wikihow.com/Round-to-the-Nearest-Tenth

  • https://learn.microsoft.com/zh-cn/cpp/c-language/type-long-double?view=msvc-170

  • https://learn.microsoft.com/zh-cn/cpp/c-runtime-library/reference/strtold-strtold-l-wcstold-wcstold-l?view=msvc-170

最后，求关注。如果你还想看更多优质原创文章，欢迎关注我们的公众号「运维开发故事」。

我是 老郑，《运维开发故事》公众号团队中的一员，某网资深 Java 工程师，10 余年 Java 互联网项目开发经验，擅长高并发、低延迟分布式互联网核心系统研发。这里不仅有硬核的技术干货，还有我们对技术的思考和感悟，欢迎关注我们的公众号，期待和你一起成长！

运维开发故事
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis设计与实现_redis设计与实现_
10-01
redis设计与实现 Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。
Redis 的五种基本数据类型
热门推荐
dingd1234的博客
04-08 1万+
一、String 类型 1.1 介绍 String 类型，也就是字符串类型，是 Redis 中最简单的存储类型。其 value 是字符串，不过根据字符串的格式不同，又可以分为 3 类： string：普通字符串 int：整数类型，可以做自增、自减操作 float：浮点类型，可以做自增、自减操作 不管是哪种格式，底层都是字节数组形式存储，只不过是编码方式不同。字符串类型的最大空间不能超过 512M。 key value msg hello world num 10 score 92
redis的常用类型
tcflwza的博客
06-17 271
redis
记录功能实现方法
ken_1996的博客
04-07 551
问题目录一、用户活跃统计二、订单金额统计三、查询能绑定的设备四、使用XXL-SSO认证框架下添加用户授权功能五、系统后台阿里云OSS多文件上传，获取文件六、SpringBoot+Mybatis配置多数据源连多个数据库七、传入父id遍历所有无限子id八、传入id查询所有父id九、Date比较大小 一、用户活跃统计 使用Spring拦截器+redis指令setBit+countBit 拦截器： 使用Spring拦截器 1.实现HandlerInterceptor重写里面三个方法 2.继承HandlerInter
Redis常用数据结构底层实现与验证-String
技术人集结地
05-23 1273
前言 在比较老的版本中，Redis支持的数据结构一共有五种，分别是：String、Sets、Sorted Sets、Lists 、Hashes ；这五种数据结构也是我们在日常工作中目前使用最多的结构，满足了我们大部分的业务场景，在最新版的Redis版本中，又新增了Bitmaps、Bitfields、HyperLogLog、Geospatial indexes 、Streams 这样的五种数据结构，更加多样化的满足我们日常的使用场景。我们当前主要是来了解一下我们常用的五种数据结构在Redis实现过程中底层所采
Redis 数据类型
weixin_42524843的博客
04-05 591
Redis 数据类型（5种常用） 数据类型 类比Java数据类型 string String hash HashMap list LinkedList set HashSet sorted_set TreeSet 查询数据类型用法help @数据类型 redis 数据存储格式 redis 自身是一个 Map，其中所有的数据都是采用 key : value 的形式存储 数据类型指的是存储的数据的类型，也就是 value 部分的类型，key 部分永远都是字符串
学习笔记 -- redis的常用数据类型(二)
低调の小黄蜂的博客
06-10 133
目录
RedisCluster分区实现原理
02-26
RedisCluster本身提供了自动将数据分散到RedisCluster不同节点的能力，分区实现的关键点问题包括：如何将数据自动地打散到不同的节点，使得不同节点的存储数据相对均匀；如何保证客户端能够访问到正确的节点和数据；...
剖析！Redis事务实现原理
02-24
在Redis中实现事务主要依靠以下几个命令来实现：Redis事务从开始到结束通常会通过三个阶段:1.事务开始2.命令入队3.事务执行以下是一个最简单的Redis事务流程：第一步跟其他的关系型数据库类似，也是需要开启一个事务...
DB redis设计与实现
08-15
DB redis设计与实现
Redis系列(九)底层数据结构之五种基础数据类型的实现
呼延十
01-21 465
前言 定义 字符串对象 int raw embstr 浮点数如何保存？ 编码转换条件 总结 列表对象 总结 集合对象 intset hashtable 总结 有序集合对象 ziplist 编码 skiplist 编码 总结 散列对象 ziplist 编码 hashtable 编码 总结 全文总结 参考文章 联系我 前言 Redis 已经是大家耳熟能详的东西了，日常...
Redis系列——5种常见数据类型day1-3
qq_51553982的博客
06-26 197
在使用开始连接到cli后需要你输入密码 数据类型 String Hash List Set SortedSet GEO BitMap HyperLog 前5个为基本类型 redis中的key允许有多个电磁形成层级结构，多个单词之间用隔开 最简单的存储类型，它的value字符串，最大空间不超过512mb 有三种类型注意：浮点数没有decrbyfloat，只能设置负数自减 hash散列，其value是无序字典 String结构是将对象序列化为JSON字符串后存储，当需要修改对象某个字段时很不方便，而hash
SpringBoot2对接线程池
iTennis柠檬
12-12 391
SpringBoot2对接线程池 1、配置线程池Bean package com.itennishy.test.config; import java.util.concurrent.ThreadPoolExecutor; import org.springframework.context.annotation.Bean; import org.springframework.context...
Redis实现排行榜(带二位小数点)
chinaherolts2008的博客
09-17 219
public class UserRank { private String userId; private double score; } @RestController @RequestMapping("rank") public class RankController { @Autowired private RankService rankService; @GetMapping(value = "/add") public b.
Redis-基本数据类型
Dcpnet
01-12 529
最近我问了很多小伙伴，他们对 Redis(远程字典服务) 大多数还是停留在String 类型上的使用【80%，还是有点可怕】 Redis 设计出了其他类型的数据类型，一定是有他的道理和使用场景的，大家还是多去了解一下其他的数据类型的使用和场景。 不要做一个简单的 API 工程师。 好了，废话少说，开始正文 目录 Redis 6中基本数据类型 是否开启缓存的因素 思考因素 字符串类型 基本命令 使用示例 运算命令 运算使用示例 批量操作命令 使用示例 使用场景 Re..
redis解决Hincrbyfloat精度丢失问题
青龙小码农
10-04 808
【代码】redis解决Hincrbyfloat精度丢失问题。
redis基础篇——redis常用的数据类型
石灰聪的博客
11-26 441
数据模型 Redis的存储我们叫做key-value存储，或者叫做字典结构。key的最大长度限制是512M，值的限制不同，有的是用长度限制的，有的是用个数限制的。Redis是KV的数据库，Key-Value我们一般会用什么数据结构来存储它？哈希表。Redis的最外层确实是通过hashtable实现的，在Redis里面，这个哈希表怎么实现呢？我们看一下C语言的源码每个键值对都是一个dictEntry，通过指针指向key的存储结构和value的存储结构，而且next存储了指向下一个键值对的指针。 typede
Docker安装Redis，Spring Boot使用Redis，解决Redis发生的类型转换异常
皮皮闪
11-08 415
Docker安装Redis（如果已安装请跳过这一步） 1、拉取Redis镜像（默认最新版本） docker pull redis 如果下载比较慢的话建议配置阿里云镜像 查看阿里云镜像：阿里云官网–>产品–>搜索容器镜像服务–>管理控制台 左侧边栏下方的镜像加速器： 点进去可以看到下方有一个加速地址和使用方法： 把大括号及大括号里的内容复制进/etc/docker/daemon.json文件中： vim /etc/docker/daemon.json 重新加载daemon文件和do
七天玩转Redis | Day2、Redis五大数据类型使用详解
累计发表博客60余万字，CSDN 博客专家、Java 领域优质创作者、华为云享专家、阿里云专家博主。专注分享 Java 优质文章，毕设实战项目开发，全网粉丝10W+
01-22 1075
号外号外????????????：小猿和CSDN联合推出的“七天玩转Redis，打卡还能领周边”活动开始啦！点击查看????????【报名及活动细则】????????，轻轻松松和小伙伴们一起拿奖励吧！ PS：零基础也能入门Redis哟，快去一起参与拿周边吧！ 博主简介????????‍⚕️：国内某一线互联网公司Java工程师????????‍????，业余自媒体创作者????，CSDN博客专家????，Java领域优质创作者????，华为云享专家????，华为HDZ核心成员????‍????，曾发表并
redis设计与实现 pdf csdn
最新发布
12-01
Redis设计与实现是Redis数据库的官方文档，提供了关于Redis的详细设计和实现细节。该文档从Redis的数据结构、内部实现、网络通信、持久化等多个方面进行了全面深入的介绍。 首先，Redis的数据结构是其设计的核心之...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值