flex小数计算

在实际开发过程中,发现FLEX在进行小数计算时,会出现精度问题。

为了测试上述假设成立,特有如下测试:

    var numA:Number = 5.5;
    for(var i:int = 0;i<10000;i++){
     numA+=0.1;
    }
    trace("result:>"+numA);
    
    var numB:Number = 1000.5;
    var numC:Number = -0.1;
    for(var j:int = 0;j<10000;j++){
     numB+=numC;
    }
    trace("result:>"+numB);

如果不存在精度问题,则应依次打印出:

result:>1005.5

result:>0.5

但是实际测试结果为:

result:>1005.5000000001601
result:>0.49999999984101495

证明了假设的成立,确认了flex在进行小数计算时,确实存在精度误差,其实在javascript,java等语言的计算中也存在此类问题。

解决办法:

在计算前,把小数相应的转化成整数,计算后,再转化回来

如下

    var numA:Number = 5.5;
    numA = numA *10;
    for(var i:int = 0;i<10000;i++){
     numA+=0.1*10;
    }
    numA = numA/10;
    trace("result:>"+numA);
    
    var numB:Number = 1000.5;
    numB = numB *10;
    var numC:Number = -0.1;
    for(var j:int = 0;j<10000;j++){
     numB+=numC*10;
    }
    numB = numB/10;
    trace("result:>"+numB);

则可以避免问题的发生

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值