单精度浮点数(float)加法计算出错

场景:

  一个float型的变量赋值1170601,加上19000000,结果出现错误。

 

原因:

  float占用4个字节(32位)存储空间,包括符号位1位,阶码位8位,尾数23位。浮点数精度与它的尾数有关。

  尾数为二进制小数1.m,m为23位的小数。所以浮点数的精度为24位二进制有效位数。2的24次方为16777216。

  19000000 > 16777216,做加法计算之后丢失精度导致结果出错。

 

解决方法:

  将float用double替换,double占用8个字节(64位)存储空间,包括符号位1位,阶码位11位,尾数52位。

  

 

转载于:https://www.cnblogs.com/SZxiaochun/p/6928840.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值