decimal 在数采中的用途

浮点数精度损失问题

无论是 float 还是 double,都是不能精确进行二进制编码的,CPU计算时会产生浮点数偏移。

例子1  0.7/0.025 = 27.999999999999996

在计算机中, double 0.7和0.025 实际分别为:

0.6999999999999999555910790149937383830547332763671875

0.025000000000000001387778780781445675529539585113525390625

因此,他们相除也就得不到28 了。

例子2  9849*0.01 = 98.49000000000001

这是我在数采时遇到的,仪表数据一般是整型*倍率得到浮点数,然而我们直接用float/double经常会遇到浮点数漂移问题。

decimal类型

decimal 长128字节,同浮点型相比,decimal 类型具有更高的精度和更小的范围,28 到 29 位有效位足够工程中使用 。

数采时巧用decimal

对例子2进行修改:

decimal dm = 9849*(decimal)0.01;

double d = (double)dm;

此时d就不会漂移了。

最佳实践

数据采集后往往要做两年事:

1. 与源系统核对数据是否一致;

2. 存储数据。

由于工程数据精度一般也就小数点后3-6位,用double一旦漂移就出现了小数点后14位的怪异数据,不仅看起来让人困扰,在存储到像oracle这种用number(n,m)来表达m精度浮点数时,会出现截取误差,比如m=2时1.00有可能存成0.99。

因此,建议在整型转换为浮点数时经过decimal,避免浮点数漂移问题。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值