javascript中的float运算精度

最新推荐文章于 2024-05-12 21:39:39 发布

downmoon

最新推荐文章于 2024-05-12 21:39:39 发布

阅读量3.7k

点赞数

分类专栏： Tips Js/VBScript 文章标签： javascript float 存储 64bit 测试脚本

本文链接：https://blog.csdn.net/downmoon/article/details/5826088

版权

Tips 同时被 2 个专栏收录

220 篇文章 0 订阅

订阅专栏

Js/VBScript

19 篇文章 0 订阅

订阅专栏

有人问到一个js问题：

var i = 0.07; var r = i*100; alert(r);

结果为什么是7.0000000000000001?

查了下资料，其实我们知道JavsScript中，变量在存储时并不区分number和float类型，而是统一按float存储。而javascript使用IEEE 754-2008 标准定义的64bit浮点格式存储number，按照IEEE 754的定义： http://en.wikipedia.org/wiki/IEEE_754-2008

decimal64对应的整形部分长度为10, 小数部分长度为16，所以默认的计算结果为“7.0000000000000001”，如最后一个小数为0，则取1作为有效数字标志。

类似地，我们可以想像，1/3的结果应该是0.3333333333333333。

那么如何校正这个值呢？

可以用以下方法：
一、parseInt

var r4=parseInt(i*100);

二、Math.round

var r2=Math.round((i*100)*1000)/1000;

以上两种方法都可以得到7

附全部测试代码：

邀月注：本文版权由邀月和CSDN共同所有，转载请注明出处。
助人等于自助! 3w@live.cn