计算机中小数的处理机制

FFxuepy

已于 2022-11-01 22:33:06 修改

阅读量373

点赞数 3

分类专栏：计算机科学文章标签： python c语言开发语言

于 2022-10-01 02:45:26 首次发布

本文链接：https://blog.csdn.net/FXQ_520096/article/details/127131186

版权

本文探讨了计算机中0.1累加100次为何不等于10的问题，原因是浮点数在计算机内无法精确表示。文章详细介绍了单精度和双精度浮点数的表示，浮点数的取值范围、内部结构，特别是正则表达式和EXCESS系统在浮点数表示中的作用。通过示例解释了如何用二进制表示浮点数，并讲解了指数部分采用EXCESS系统的原因。

摘要由CSDN通过智能技术生成

计算机中的小数处理机制

0.问题的提出

❓ ❓ ❓ 为什么0.1累加100次后的结果得不到10???

# python代码
# 将0.1累加100次也得不到10
sum_it = 0
i = 1
while i <= 100:
    sum_it += 0.1
    i += 1
print(sum_it)
# 结果为: 9.99999999999998

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

FFxuepy

关注关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

矩阵在计算机图像处理中的应用

计算机视觉之光

02-12

1007

在灰度图像中，数组的每个元素对应于图像中的一个像素，数值表示该像素的光强，即亮度。这些特征可以来自图像的原始像素，也可以是经过各种变换（例如，傅立叶变换、小波变换）得到的矩阵。应用滤波器涉及在原始像素矩阵上进行卷积运算，这通常意味着将卷积核矩阵在图像上移动，并对重叠区域的像素值进行加权求和。使用适当的变换矩阵，可以通过线性代数中的矩阵乘法来计算图像点变换后的新位置，这些操作是图像处理中的重要基础。矩阵在计算机图像处理中是非常核心的概念，因为它们为表示和操作图像数据提供了一种非常方便和强大的方式。

小数点处理方式总结

z_open_cheung的博客

11-27

663

小数点处理方式总结1. 输入限制2. 保留指定小数位3. 控制input输入长度 1. 输入限制 <input placeholder="请输入xxx" type="digit" v-model="amount" @input="inputCheck()"> // 只能输入两位小数 this.amount = this.amount.replace(/^(-)*(\d+)\.(\d{0,2}).*$/, '$1$2.$3') 2. 保留指定小数位参考1 参考2 // 1.保留指定小数位

参与评论您还未登录，请先登录后发表或查看评论

js对于小数的处理

y1s2y3的博客

08-06

622

1. 向下取整 parseInt();//直接去除小数部分 Math.floor(); 2. 向上取整： Math.ceil();//向下取整+1 3. 四舍五入 Math.round(); 实例： var number1 = number2 = number3 = number4 = number5 = 2.6; console.log("5个原始的数据...

关于小数点处理

LYW_lyw的博客

04-19

359

－－－－－－－－－－－－－－－关于小数点处理－－－－－－－－－－－－－－－－－货币以及小数点处理避开使用float以及double, 用BigDecimal类来代替。使用BigDecimal类几点注意事项１.　比较相等时，不要使用equals() 而使用compareTo()　　　compareTo()　返回值：　-1:小于　0:等于　1:大于２.　BigDecimal 是不可变类。 ...

小数保留处理

qq_36029400的博客

07-11

640

// 保留两位小数四舍五入double couponPrice = new BigDecimal(couponPrice).setScale(2, BigDecimal.ROUND_HALF_UP).doubleValue();// 舍弃后方的0 比如 2.30 变成2.3DecimalFormat df = new DecimalFormat("#.###"); String str = ...

python小数点处理_python 小数处理

weixin_39628594的博客

12-08

887

modf() 分别取整数部分和小数部分 math模块函数import mathn = 3.75print(math.modf(n))>>> (0.75, 3.0)n = 3.25print(math.modf(n))>>> (0.25, 3.0)n = 4.2print(math.modf(n))(0.20000000000000018, 4.0)保留一位小数p...

VFP编程中的小数累加误差：计算机数据处理解析

"这篇论文探讨了中职计算机专业学生在基于VFP编程时遇到的小数运算错误，通过实例分析了计算机处理小数的机制，并提出了如何避免此类错误的方法。" 在计算机科学中，尤其是在编程领域，理解计算机如何处理数据至关...

小数除法计算中的错误分析及应对措施.pdf-文档整理可打印

08-05

3. **异常处理**：对于零除异常，应确保代码中有适当的异常捕获和处理机制，避免程序崩溃。 4. **算法优化**：对于特定的除法运算，可能有更高效的算法或技巧来减少误差，比如使用乘法代替除法，或者利用数学公式...

jisuanqi.zip_小数计算器_小数运算_计算器小数_计算器+小数_计算器小数

09-24

计算器程序需要有适当的错误处理机制，例如抛出异常或返回错误提示。 3. **用户界面**：良好的用户界面是提高用户体验的关键。计算器程序应有清晰的输入框供用户输入小数，以及直观的按钮布局，使得加减乘除操作...

小数在计算机的存储形式

最新发布

个人主页

11-11

1494

4.25转为二进制的过程：拆分为整数部分和小数部分，整数部分为4，小数部分为0.25。4转二进制为：1000.25转二进制为：0.01将两个二进制相加就是：100.01，所以4.25的转为二进制就是100.010.25转二进制的过程：0.25*2=0.5，取整数为00.5*2=1.0，取整数为1这时小数部分为0时结束，0.25的二进制的小数部分就是01。19.625转为二进制过程：19转二进制为：100110.625转二进制的过程：0.625*2=1.25，取整数部分 1。

小数在计算机里面的存放

weixin_34122548的博客

06-19

417

1、数学定义：小数，又称为实数。一般用十进制表示例如： 3.141592652、科学计算法：数学中的科学计算法许多种表示法3.14159265 = 0.314159265 × 1013、计算机中浮点数的表示：在计算机中的使用科学计数法是一种“规格化计数法”。3.1规格化计数法：用科学计数法表示实数时，如果最左边的第一个数字不是0，则被称为“规格化计数法”例如：0.1 × 10...

计算机如何表示小数？带例题(定点法、浮点法)

半亩方糖

03-19

7646

小数的表示分为「定点法」和「浮点法」 1 定点法，定点数定点法就是小数是预先约定好的举个例子 (1)二进制转十进制二进制 101.011 转化为十进制 101.011101.011101.011 =(1∗20+0∗21+1∗22)+(0∗2−1+1∗2−2+1∗2−3)= (1*2^0 + 0*2^1 + 1*2^2)+(0*2^{-1} + 1*2^{-2} + 1*2^-3)=(1∗20+0∗21+1∗22)+(0∗2−1+1∗2−2+1∗2−3) =5+0.375=5+0.375=5+0.37

浮点数规格化与定点数

lixiaoting9181的博客

11-26

4834

一、定点表示定点数：小数点固定在某一位置的数为定点数。小数点位于数符和第一数值位中间时，机器内的数是纯小数。当小数点位于数值位之后时，机器内的数为纯整数。注：由于小数点的位置不变，所以当机器处理得数不是纯小数或者纯整数时必须乘上一个比例因子，否则会产生“溢出”。二、浮点表示 1. 浮点数：小数点可以浮动的数。表示为 N=S×rj，S为尾数（可正可负），j为阶码，r是基数。浮点数在机器中的表示形式为: 为了提高数据精度以及浮点数的比较; ①规定浮点数尾数用纯小数表示，即小数点位于数符和数值之间

3、（小数类型）FLOAT、DOUBLE、DECIMAL

you can you up up up的博客

10-08

2318

MySQL 中使用浮点数和定点数来表示小数。浮点类型有两种，分别是单精度浮点数（FLOAT）和双精度浮点数（DOUBLE）；定点类型只有一种，就是 DECIMAL。浮点类型和定点类型都可以用(M, D)来表示，其中M称为精度，表示总共的位数；D称为标度，表示小数的位数。浮点数类型的取值范围为 M（1～255）和 D（1～30，且不能大于 M-2），分别表示显示宽度和小数位数。M 和 D 在 FLOAT 和DOUBLE 中是可选的，FLOAT 和 DOUBLE 类型将被保存为硬件所支持的最大精度。

彻底弄懂计算机如何存储小数和处理小数产生错误的原因

qq_50772004的博客

04-14

1067

三、计算机处理小数时出现错误的原因 3.1用二进制表示小数二进制：11.101 小数点后表示2的 - XX次方十进制：10.52 小数点后表示10 的 -XX次方 3.2二进制永远无法表示十进制的0.1 如同十进制无法表示1/3一样，二进制表格如下：二进制数十进制数 0.0000 0 0.0001 0.0625 0.0010 0.125 2的负多少次方，无论怎么累加都无法得到0.1 3.3什么是浮点数定点数：321.123 小数点是固定的；浮点数：0.123x10-8

数据在计算机内部是怎么储存和运算的

weiguangxingchen的博客

09-04

2097

不管使用什么编程语言，程序内容都是由数据和处理构成的，而在c语言的中，数据是由变量表示，处理是由函数表示。变量在程序中表示为“存放数据的地方”，而我们在对变量初始化或者赋值时，一般使用的是十进制，八进制或者时十六进制，但我们知道在计算机内部无论时数值还是图像或是字符串都是以二进制数存储的，我们编写的程序在通过编译器和链接器等后生成exe文件则是以本地代码(机器语言)也是二进制数记录的，那么数据是怎样转换为二进制数的，又是怎样进行运算的

浮点数基础知识

wh义华的专栏

08-02

864

以32位浮点数为例，8为指数可以表示的范围为0到255，但是为了表示负数，需要将其中的一半划归负数。可以看到，在二进制中连续的三个小数，0.01，0.10，0.11转化成对应的十进制数后并不是连续的，中间差了很多。当位数不断扩大时，也只能表示更多的十进制浮点数，但也还是无法精确的表示对应的十进制浮点数。最终得到的23位即为对应的浮点数的尾数部分。因为一个计算机的“常识”，即浮点数的表示不是精确的，而是近似的。故二进制表示的浮点数无法精确的转化成对应的十进制数，这是浮点数无法精确计算的根本原因。...

计算机的小数运算

威少（微笑）

02-05

7052

文章目录二进制的小数无法转换的小数浮点数如何保证计算的精度回避策略把小数转换成整数来计算十六进制的使用二进制的小数规则：小数点后面部分的位权，第 1 位是 2 的－1 次幂、第 2 位是 2 的－2 次幂这一规律并不仅限于二进制数，在十进制数和十六进制数中也同样适用例子：将 1011.0011 转换为十进制的数？图：负指数幂的推导图： 0 指数幂推导零指数幂推导：图：无...