C#SUM函数改变数据精度问题

问题:用遍历list累加方式和sum()函数取相同的数据,居然数据不一样?

数据库的两条数据分别是9位精度的:

经过调试就发现List在使用SUM()函数的时候把原本9位精度的数据竟然变成了

程序中

  • List累加方式得到的结果:308.059

  • sum()函数方式得到的结果ddd=308.058999999

这下好了,怎么就差0.001了呢?

 

原因

SUM()求和时的精度问题

跟数据表字段定义有关
SUM以最精确的 expression 数据类型返回所有表达式值的和 返回结果:

  • money 精确到货币单位的千分之十
  • float(n) n在1-14,精度7位,25-53,精度15位
  • decimal 精度38位
  • int 精度为整数位数

<%=conn.execute("Select SUM(TotalPrice) as List1  from OrderList where TranslateStatus=1")("List1")%> 
语句查询的结果居然会返回很长的数字(5700.25001144409 )11位小数
查找数据表中对应的 TOTALPRICE字段定义.单精度.精确到2位小数.

参考https://www.iteye.com/blog/guanhuaing-1503092

总结:查看了自己的字段就是decimal类型的,一数发现使用sum()函数后也的数据也没有38位呀,一看后面不还有个m嘛

这下我就清楚了

c# 数据类型可在在最后的带一个字母

  • folat的后面要带F或者f;
  • double的后面要带D或者d;
  • decimal的后面要带M或者m;
  • long的后面要带L或者l;

解决:使用数据类型 转换

string strfn = item.Qty.ToString();
strfn = String.Format("{0:N9}", strfn); //保留小数点后六位 
Qty = Convert.ToDecimal(strfn);

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值