lotus script中两个数值相等的Double类型的数值用 x = y 的形式比较得出false的问题

Sub Initialize
	Dim a As Double
	a = 150000
	Dim b(4) As Double
	b(0) = 45833.33
	b(1) = 50000
	b(2) = 50000
	b(3) = 4166.67
	Dim j As Integer
	Dim totalb As Double
	For j = 0 To UBound(b)
		totalb = totalb + b(j)
	Next
	
	MsgBox "a:" & a
	MsgBox "totalb:" & totalb
	MsgBox "是否相等:" & CStr(totalb = a)
	
End Sub

就是上面这段代码,a和totalb的值都是15000,但是 totalb = a返回的值却是false,IBM给出的解释是:

 对于Integer的两个整数A,B可以直接通过A<>B判断
但是对于Double、Single、Float、Decimal等浮点数A,B
不能这样直接比较,可以通过间接进行判断
math.abs(A-B)<0.00000001(可以设置为任何一个比较小的数值,也就是说如果两个数的差如果足够小的话则我们近似地认为它们相等) 


        个人以为,IBM之所以这样处理,是因为直接赋值和相加赋值的方式导致了两个数精度的不同,在内存中两个值存的有差异造成的,相加得出的值略大于直接赋值的值。

        我个人对于处理两个值比较的问题,倾向于使用转换为字符串之后判断两个字符串是否相同来进行判断。上面的例子中,就可以用下面的方法来实现:

CStr(totalb)=CStr(a)
CStr方法会将数值末尾多余的0直接去除掉,因此可以不用担心小数位数的影响。得出两个数值是否相等结果后,就可以进行接下来的操作了。




  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值