oracle 的float(b)精确度计算方法

把字段类型设计成float(2)后,插入数据93.5后,为什么变成了90?

为了说明这个问题,我们先来看一段话(http://www.cnoug.org/viewthread.php?tid=56643):Oracle Online Help 说:FLOAT(b) specifies a floating-point number with binary precision b. The precision b can range from 1 to 126. To convert from binary to decimal precision, multiply b by 0.30103。

根据这段话,我们可以看到,float(2)中的2是一个binary precision,而不是我们常用的decimal precision。他们之间的换算关系是:binary precision=int(b*0.30103),因此我们这里实际上的精度应该等于int(2*0.30103)=0,即小数点后精度为0。

 

回到我们原来的问题,93.5化成浮点型9.35*10^1,这时9.35小数点后精度为0,成9,因此最后变成9*10^1=90。

类似的,我们可以设计成float(10),那么int(10*0.30103)=3,因此,如果插入93.5,就得出9.35--精度为3--& gt;9.350,9.350*10^1=93.5。如果插入13884.2,得出1.38842--精度为3--> 1.388,1.388*10^4=13880。

我们可以从以下测试更加清楚的看到这样的换算规则。

Connected to Oracle9i Enterprise Edition Release 9.0.1.1.1
Connected as aspire

SQL>
SQL> CREATE TABLE hjm_float_test
2 (a FLOAT(2),
3 b FLOAT(10),
4 c FLOAT,
5 d NUMBER);

Table created

SQL> INSERT INTO hjm_float_test(a,b,c,d) VALUES(93.5,93.5,93.5,93.5);

1 row inserted

SQL> INSERT INTO hjm_float_test(a,b,c,d) VALUES(93.665,93.665,93.665,93.665);

1 row inserted

SQL> INSERT INTO hjm_float_test(a,b,c,d) VALUES(96.5,96.5,96.5,96.5);

1 row inserted

SQL> INSERT INTO hjm_float_test(a,b,c,d) VALUES(13884.2,13884.2,13884.2,13884.2);

1 row inserted

SQL> COMMIT;

Commit complete

SQL> SELECT * FROM hjm_float_test;

A B C D
---- ------------ -------------------------------------------------------------------------------- ----------
90 93.5 93.5 93.5
90 93.67 93.665 93.665
100 96.5 96.5 96.5
1000 13880 13884.2 13884.2

SQL> desc hjm_float_test;
Name Type Nullable Default Comments
---- ------ -------- ------- --------
A FLOAT Y
B FLOAT Y
C FLOAT Y
D NUMBER Y

SQL>

请特别注意的是,虽然我在设计表的时候设计成了float(2)、float(10),但是当我在desc表(代码最后7列)的时候却是看不到这样的设计结构的,这样的问题需要尤其引起注意!!

最后,让我们回顾一下,记住float(b)中的b是二进制的精度,他的换算规则是binary precision=int(b*0.30103)。

### SQL Server 中除法运算保留小数的方法 在 SQL Server 中执行除法运算时,默认情况下,如果两个操作数均为整型数据,则返回的结果也将是一个整数值,并且会丢弃小数部分[^1]。为了确保结果能够保留小数部分,可以通过以下几种方式来解决: #### 方法一:将至少一个操作数转换为浮点类型 当参与运算的操作数之一被显式定义为 `FLOAT` 或者其他支持小数的类型(如 `DECIMAL`),则最终的计算结果将会包含小数位。例如: ```sql SELECT CAST(5 AS FLOAT) / 2; -- 结果为 2.5 ``` 这种方法基于引用说明指出,在 SQL Server 的环境中,只要有一个参数是以浮点形式存在,那么整个表达式的求解过程就会按照浮点逻辑来进行处理[^2]。 #### 方法二:使用 ROUND 函数控制精度 ROUND 函数允许指定要保留的小数位数以及是否应用四舍五入规则。下面的例子展示了如何利用此功能保持特定数量的有效数字: ```sql DECLARE @result DECIMAL(10, 4); SET @result = ROUND(CAST(7 AS FLOAT)/3, 2); -- 计算并取到第二位小数 PRINT @result; -- 输出应该是约等于 2.33 ``` 需要注意的是,某些场景下直接调用 `Round()` 对固定长度变量可能附加额外零填充现象[^3]。 #### 方法三:采用 CONVERT/CAST 转换目标列的数据类型 另一种常见做法就是借助于 `CONVERT` 或者 `CAST` 将原始字段强制改变为其期望的表现形态后再实施相应操作。比如下面这个查询片段就很好地诠释了这一点: ```sql SELECT CONVERT(NUMERIC(18, 2), (a_column * b_column)) FROM table_name WHERE condition; ``` 这里强调的是,虽然两者都可以完成类似的职责,但是它们之间确实存在着细微差异——尤其是涉及到字符串格式化输出的时候。 #### 方法四:TRUNCATE 截断而非四舍五入 对于那些严格要求不考虑后续数值影响的情况来说,可以选择 TRUNC 来单纯截去多余的部分而不做任何调整动作。不过值得注意的是该语法主要适用于 Oracle 数据库系统里;而在 MS SQL Server 上面我们通常还是倾向于运用前面提到过的手段达成目的[^4]。 综上所述,针对不同的业务需求可灵活选用上述策略之一或者组合起来满足实际开发中的各种复杂状况下的精确度管理诉求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值