在核对数据时,发现在使用统一计算公式的情况下,数据库计算出的结果和Excel计算的结果不一致。
注:最后的计算结果精确到一位小数。
案例一
数据库计算:
select -27.0943/30*15;
select (-27.0943/30*15)::numeric(10,1);
-- -13.54714999999999999995
-- -13.5
Windows计算器计算:
-13.54715
-13.5
案例二
在案例一的基础上,分子先精确到一位小数。
数据库计算:
select -27.1/30*15;
select (-27.1/30*15)::numeric(10,1);
-- -13.54999999999999999995
-- -13.5
Windows计算器计算:
-13.55
-13.6
案例一中的两种工具的计算的结果都是一致的,但是案例二的计算器算出的值就和数据库不一致了。(Excel计算也存在类似问题)
结论
计算时需要注意精确度,特别是涉及到多端交互时,需要考虑不同系统(or不同语言)之间的精确度问题。