今天用C#计算10000个float数据求和结果与Excel比对居然相差五百多,网上查了半天,最后结果是将类型转换为decimal,问题最终解决。
下面附上一些查到的东西
1、float只有7位有效数字,decimal类型比float,double精度高 http://bbs.csdn.net/topics/390575433
2、关于数字类型字符串 https://msdn.microsoft.com/zh-cn/library/dwhawy9k.aspx
今天用C#计算10000个float数据求和结果与Excel比对居然相差五百多,网上查了半天,最后结果是将类型转换为decimal,问题最终解决。
下面附上一些查到的东西
1、float只有7位有效数字,decimal类型比float,double精度高 http://bbs.csdn.net/topics/390575433
2、关于数字类型字符串 https://msdn.microsoft.com/zh-cn/library/dwhawy9k.aspx