关于k3中自定义字段的数据计算精度的问题

4 篇文章 0 订阅
4 篇文章 0 订阅

这两天在k3中要实现一个插件,来实现一个表头数据(自定义)与表体数据的计算,最终填入表体中的一个自定义字段中
首先使用了这么一条SQL
update ICStockBillEntry set ICStockBillEntry.FEntrySelfD0170=round(ICStockBillEntry.Fauxqty*ISNULL(cast(ICStockBill.FHeadSelfD0145 as real),0),4) from ICStockBillEntry,ICStockBill where ICStockBillEntry.FInterID=ICStockBill.FInterID
最终发现,老是在最终结果FEntrySelfD0170中出现多一位小数字,或者少一位
比如数值应该是6.2的,显示为6.2001,6.1的显示为6.1999
诸如此类
费了很大劲,找不到原因,后来通过实验,发现可能是在cast中的real导致出问题了
主要问题在于real是不够精确的数字,最后是改成这样子
update ICStockBillEntry set ICStockBillEntry.FEntrySelfD0170=cast(ICStockBillEntry.Fauxqty*ISNULL(cast(ICStockBill.FHeadSelfD0145 as decimal(28,10)),0) as decimal(28,10)) from ICStockBillEntry,ICStockBill where ICStockBillEntry.FInterID=ICStockBill.FInterID
貌似问题没了
FHeadSelfD0145一般是整数,但是由于real精度的问题,导致在计算中,可能出现一个不精确地数,问题应该应该就出在这里
后面再观察观察。。。
通过如下语句跟踪数值的变化
select cast(a.Fauxqty*ISNULL(cast(b.FHeadSelfD0145 as DECIMAL),0) as real),a.FEntrySelfD0170,a.* from ICStockBillEntry a left join ICStockBill b on a.FInterID=b.FInterID where 1=1 order by a.FInterID,a.FEntryID

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lwprain

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值