sql 小数精度问题


    DECLARE @net_qty DECIMAL(18,10)
    DECLARE @rate DECIMAL(18,10)
    SET @net_qty=3
    SET @rate=95
    SELECT  CAST( @net_qty/(1-@rate*0.001) AS DECIMAL(18,10))

    SELECT 3/(1-95*0.001) 

修改后sql 


    DECLARE @net_qty FLOAT(38)
    DECLARE @rate FLOAT(38)
    SET @net_qty=3
    SET @rate=95
    SELECT  CAST( @net_qty/(1-@rate*0.001) AS FLOAT(38))

    SELECT CAST( 3/(CAST(1 AS FLOAT(38))-95*0.001) AS FLOAT(38))

总结:

以上两个例子说明, 3/(1-95*0.001)  这个计算后由于精度不确定sql默认保留8位小数。再加上cast(1 as float(38))后, 精度识别位38位。算出来就和上面一个计算结果相同了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值