PostgreSQL的NUMERIC精确度问题

在核对数据时,发现在使用统一计算公式的情况下,数据库计算出的结果和Excel计算的结果不一致。
注:最后的计算结果精确到一位小数。

案例一

数据库计算:

select -27.0943/30*15;
select (-27.0943/30*15)::numeric(10,1);
-- -13.54714999999999999995
-- -13.5

Windows计算器计算:
-13.54715
-13.5
在这里插入图片描述

案例二

在案例一的基础上,分子先精确到一位小数。

数据库计算:

select -27.1/30*15;
select (-27.1/30*15)::numeric(10,1);
-- -13.54999999999999999995
-- -13.5

Windows计算器计算:
-13.55
-13.6
在这里插入图片描述
案例一中的两种工具的计算的结果都是一致的,但是案例二的计算器算出的值就和数据库不一致了。(Excel计算也存在类似问题)

结论

计算时需要注意精确度,特别是涉及到多端交互时,需要考虑不同系统(or不同语言)之间的精确度问题。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值