小数精度问题

最新推荐文章于 2024-04-09 17:30:16 发布
最新推荐文章于 2024-04-09 17:30:16 发布
阅读量1.2k 收藏
点赞数
分类专栏： 每周博客
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/grand_brol/article/details/111069687
版权

为什么0.1+0.2≠0.3

在这里插入图片描述

计算机存储机制

计算机是通过二进制来存储数据的，而JavaScript是根据IEEE754标准中的双精度（64位）来存储数据的。也就是由64位0和1组成需要存储的数字。而这个64位0和1又分为三个部分，符号位（1）、指数位（11）、尾数（52）
1、 符号位：确定正、负。

2、 尾数的位数：确定精度。

3、指数的位数：确定所能表示的数的范围。
例子
在这里插入图片描述说明
上图指数为1023为指数偏移值，双精度为1023，单精度为127

当有限遇到无限

从上述部分可以知道计算机在存储数字时会转化为二进制，而0.1转化为2进制是多少呢
在这里插入图片描述从上图可知0.1转化为2进制会是一个循环数。但是尾数只有52位，当计算机遇到这种情况就会四舍五入。从而造成计算偏差。

解决

因为误差范围比较小，可以使用toFixed,指定到保留小数位
在这里插入图片描述

Londing...
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于小数的精度问题
weixin_50076754的博客
08-01 395
关于小数的一些精度问题，这在面试中可能会被问到 import java.math.BigDecimal; /* BigDecimal(double val)将double类型的数据封装为BigDecimal对象 BigDecimal(String val)将 BigDecimal 的字符串表示形式转换为 BigDecimal */ public class Test { public static void main(String[] args) { System.out.pri
关于小数精度总结
weixin_69747137的博客
09-27 41
double a;int b;cin>>a>>b;
小数点精度问题
最新发布
galoiszhou的博客
04-09 123
计算机内部以二进制形式存储浮点数，其中包括一个尾数（mantissa）和指数（exponent）。但是，许多十进制小数无法精确地转换为有限位数的二进制小数。举个例子，0.1 在十进制中是一个简单的小数，但在二进制中却是一个无限循环小数。因此，当计算机尝试表示 0.1 时，它实际上存储的是一个近似值。这就是为什么在一些情况下，像你提到的数学运算结果会出现微小的舍入误差。为了减少这种误差，可以使用一些技术，比如舍入规则（如四舍五入或截断），或者使用更高精度的数值表示方法（如使用任意精度算术库）。
Python的浮点数损失精度问题（为什么说双精度浮点数有15位十进制精度）
fyfcauc的专栏
07-21 1万+
本篇讨论的现象可以从下面这段脚本体现出来： >>> x = 0.0 >>> for i in range(10): x += 0.1 print(x) 0.1 0.2 0.30000000000000004 0.4 0.5 0.6 0.7 0.7999999999999999 0.8999999999999999 0.9999999999999999 >>> 即：为什么有几行的输
小数精度，经常忘，方便自己看的
sweetsweet1997的博客
06-13 394
cout 加上fixed  是小数点后保留n位 不加是一共保留n位
C#中处理多位小数精度的精度问题
12-30
在C#编程中，处理多位...总的来说，处理C#中的多位小数精度问题，关键在于理解和合理使用`decimal`类型，以及在操作过程中注意避免不必要的精度损失。通过阅读提供的博客文章，可以获取更具体的实现细节和代码示例。
javascript小数精度丢失的完美解决方法
10-22
下面小编就为大家带来一篇javascript小数精度丢失的完美解决方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
javascript解决小数的加减乘除精度丢失的方案
10-22
主要介绍了javascript解决小数的加减乘除精度丢失的方案的相关资料以及JavaScript中关于丢失数字精度的问题的探讨，非常的详细,需要的朋友可以参考下
js 对小数加法精度处理示例说明
10-26
在JavaScript中，由于其数值类型（`Number`）的实现方式，小数加法时常会出现精度问题。这是因为在计算机内部，浮点数是以二进制形式存储的，而某些十进制小数无法精确地转换为二进制，导致计算过程中出现误差。这种...
pandas 小数位数 精度的处理方法
09-20
今天小编就为大家分享一篇pandas 小数位数 精度的处理方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pandas小数精度
大数据机器学习
06-08 2万+
Parameters: decimals : int, dict, Series Number of decimal places to round each column to. If an int is given, round each column to the same number of places. Otherwise dict and Series round t
小数运算精度处理
so_vedetable的博客
12-08 304
小数运算精度处理
C++——cout输出小数点后指定位数
热门推荐
Tea
11-13 12万+
在C++的编程中，总会遇到浮点数的处理，有点sh
js小数点精度
weixin_30591551的博客
12-28 328
https://jingyan.baidu.com/article/48b37f8d09988c1a646488e5.html 37.5*5.5=206.08 (JS算出来是这样的一个结果，我四舍五入取两位小数)我先怀疑是四舍五入的问题，就直接用JS算了一个结果为：206.08499999999998怎么会这样，两个只有一位小数的数字相乘，怎么可能多出这么小数点出来。我Googl...
零基础学python-5.7 小数精度
raylee2007的专栏
08-19 103
首先我们来看一个特殊的例子 在上面的表达式当中，我们口算都可以算出来是0，为什么是那么一个接近0的数呢？ 这就要从小数的精度说起。 1.小数的产生 这种小数一般是通过表达式或者引用其他模块运算后形成的，而不是变量赋值创建的 2.小数对象 我们可以使用小数对象，来控制输出的小数 3.使用decimal模块控制全局小数输出 就说到这里，谢谢大家 ...
通用精度处理方案(保留3位小数,各百分比和要保证为100%)
pearkerChen
09-20 2659
公用方法如下: /** * @Description: 精度处理(如:%.2f表示保留后两位，它的处理方式也是直接截掉不要的尾数，不四舍五入) * @author * @date 2018年09月04日 20:22:44 * @param n 保留n位小数 * @param d 原浮点数 * @return 返回保留n位小数位数的字符串 * */ public static ...
js小数点精度问题
weixin_30555125的博客
11-19 250
项目背景是用eharts 渲染数据，其中Y 轴的 刻度尺间隔用 interval,代码中如下： yAxis: [ { type : 'value', position:'left', min:minV, max:maxV, // splitNumber:5, interval:interVal, ...
二进制下的正数、负数、小数、乘法溢出、精度丢失
Android
09-26 6320
一、原码、反码、补码 https://www.cnblogs.com/red-code/p/6520462.html 正数的原码、反码、补码都是相同的。 负数的原码：负数的绝对值的二进制的最高位变为1。 负数的反码：负数的原码的最高位不变，其余取反。 负数的补码：负数的反码+1。 例： 1.正数 9 （0000 1001 = 23+20=9） 原码：0000 1001 反码：0000 1001 ...
如何使JDK17版本的DecimalFormat 保留三位小数精度问题 和JDK1.5版本的DecimalFormat 保持一致
06-01
您好，针对您的问题，以下是解答： 对于JDK17版本的DecimalFormat，您可以使用以下代码来保留三位小数精度： ```java DecimalFormat decimalFormat = new DecimalFormat("#.###"); ``` 这样格式化后的数字将会保留三位小数。 而对于JDK1.5版本的DecimalFormat，您可以使用以下代码来保持与JDK17版本相同的格式： ```java DecimalFormat decimalFormat = new DecimalFormat("0.000"); ``` 这里的“0.000”表示保留三位小数。需要注意的是，在JDK1.5版本中，保留小数时需要显式地使用“0”来表示小数位，而在JDK17版本中可以使用“#”来表示。 希望以上解答能够帮助到您，如有疑问请随时追问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值