【VBA研究】浮点数计算总是有误差的

作者:iamlaosong

数字有两种表达方式。一种是整数,一种是浮点数。浮点数是属于有理数中某特定子集的数的数字表示,在计算机中用以近似表示随意某个实数。详细的说,这个实数由一个整数或定点数(即尾数)乘以某个基数(计算机中一般是2)的整数次幂得到,这种表示方法相似于基数为10的科学计数法。

计算机中存储浮点数的方式决定了浮点数往往是个近似值,由于日常生活中我们用的是十进制。而计算机用的是二进制,二进制非常难精确的表达十进制的小数。这里不想讨论计算机是怎样存储浮点数的,那会是非常长的一篇枯燥文字,这里仅以实验来验证。请看以下程序:

Sub tt1()
    For i = 0 To 1000 Step 0.1
        Debug.Print i
    Next
End Sub

执行上面你会发现,前面能够正确显示的数值。仅仅有一位小数,加到6以后, 小数点后就暴增到了十几位,结果例如以下:

 。。


 5.3 
 5.4 
 5.5 
 5.6 
 5.7 
 5.8 
 5.9 
 6 
 6.1 
 6.19999999999999 
 6.29999999999999 
 6.39999999999999 
 6.49999999999999 
 6.59999999999999 
 6.69999999999999 

。。。

这就是浮点数的累积误差,由于计算机的二进制存储无法精确的存储0.1这个数字。把上述程序的步长换成0.125,再执行上述程序,则不再出现误差,这是由于二进制能够精确的存储0.125这个数字。

这种误差可能导致比較失误,比方上面的值。你认为应该等于6.2的,但实际值却是小于6.2。所以,在一些须要精确计算、精确比較的场合,最好不要用浮点数。假设原始数据是浮点数,能够先化成整数计算、比較,然后再还原成浮点数。比方上述程序能够写成例如以下:

Sub tt1()
    For i = 0 To 1000 Step 1
        Debug.Print   i / 10
    Next
End Sub
这样就能够避免浮点数计算造成的累积误差。此外,浮点数应尽量避免精确比較,一般採取大于、小于这种比較。以免产生逻辑错误。




转载于:https://www.cnblogs.com/llguanli/p/8759465.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值