ArcMap中Double字段存储精度的问题

环境

Win7 旗舰版

ArcGIS 10.1


测试过程

这里插入一段,我询问了Esri的技术人员,一个ArcMap已知的bug

无论是设置多少位的小数保留位,最多显示9位,尽管在字段属性中上限可以设置到15位,而这9位也是经过四舍五入显示的,所以这个值只是给你看看的,看到的并不是真实的值~

这里写图片描述

而如果你的小数位超过了15位,像上面那样,会自动的在15位进行四舍五入

这里写图片描述

如果你认为只是这么简单就错了,这种情况只是在小数位的首位和整数位非0的情况下才成立,看下面的例子

这里写图片描述

这里并没有进行四舍五入而是进行了科学计数法,完全没有丢失16位小数的精度!

之后我又测试了整数位,一共得有效位超过15位之后都会进行四舍五入~

这里写图片描述


小结:

1.小数位的显示确实只能显示9位,因为在显示科学计数法的时候(大于15位的整数),也是一共只显示9位小数数字

这里写图片描述

2.超过了15位有效数字之后,ArcMap自动使用科学计数法进行四舍五入,这里的15位有效数字指的是进行了科学计数法之后的15位有效数字,像0.0123456789012345尽管有16位小数,但是进行了科学计数法之后是1.23456789012345E-02实际上仍然是15位有效数字!

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值