【记录】一个坑,数据精度的问题

1)问题描述:

 在python中进行高精度的数据计算会出现错误;例如:

但是这并不是python语言的错,而是计算机本身的字节限制,由于计算机只能提供15位数字的准确性,最后一位由计算机根据二进制计算结果确定,存在误差,所以浮点数无法进行高精度的计算

 

2)解决办法

查看python3.4.1文档,发现对于decimal模块的讲解非常多,由此可见其功能也很强大。

使用decimal可以进行高精度的浮点浮点数运算。Decimal类型是在浮点类型的基础上设计的,但是它在几个地方上要优于floating point:


1)Decimal类型可以非常精确地在计算机中存储,浮点型在计算机中是无法精确存储的,比如1.1和2.2在计算机中存储后,运算(1.1+2.2)表达式的值结果会是3.3000000000000003;Decimal类型则不会出现这种情况。同样,由于无法精确存储,浮点型也就无法精确计算(相对于Decimal类型),可以再测试(0.1+0.1+0.1-0.3)两种类型的计算结果。


2)Decimal类型会自动保留小数点后面不需要的0,以与输入的精度相匹配,比如下面小程序中的例子:浮点型的1.20+1.30结果是2.5;而Decimal类型结果是2.50,这样貌似比较人性化。


3)Decimal类型可以根据需要自己设置小数点后精度。通过getcontext().prec = x (x为你想要的精度来设置,getcontext()函数下面再详细介绍)。


4)Decimal类型有很强的管理功能,它能够根据需要设置,来控制输出的格式,得到或者忽略某类错误(如除0,可以设置忽略它,而得到一个Infinity的Decimal值)

用法:

from decimal import *
num = 1.2
num = Decimal(num*10000).quantize(Decimal("0.00")) # 保留两位小数

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值