今天再次遇到精度问题
请看下面程序
decimal d1 = 1066.67M;
decimal d = -200;
decimal d = -200;
decimal d2 = d1 + d;
Debug.WriteLine(d1);
Debug.WriteLine(d);
Debug.WriteLine(d2==866.67M);
Debug.WriteLine(d1);
Debug.WriteLine(d);
Debug.WriteLine(d2==866.67M);
上面如果用decimal会得到相等的结果 用double类型会不相等
Decimal 值的二进制表示形式由 1 位符号、96 位整数以及比例因子组成,比例因子用作 96 位整数的除数并指定整数的哪一部分为小数。
比例因子隐式地定为数字 10 的幂,指数范围从 0 到 28。因此,
Decimal 值的二进制表示形式为:((-2
96 到 2
96) / 10
(0 到 28))
Double 符合二进制浮点算法的 IEC 60559:1989 (IEEE 754) 标准
1位符号位(s)、11位指数(e),52位尾数(m,共64位)
计算公式:
V=(-1)^s*2^E*M //比例因子隐式地定为数字 2 的幂
V=(-1)^s*2^E*M //比例因子隐式地定为数字 2 的幂
看到上面用蓝色标出来的地方
double 表示10进制的数 必定存在 精度问题
存储在机器里面的数被转成2进制了 10进制转2进制 必然有些会出现除不尽的
Decimal 是表示10进制数的 最佳选择