摘要 计算机的错误计算(四十一)展示了 PyTorch 库的矩阵乘积的结果的精度问题。 本节指出精度损失的部分原因是相减相消。
不可否认,表示误差会导致计算误差。然而,表示误差一般来说会使得数值具有一定的精度。例如,在单精度浮点数下,通常可以保证约 8位有效数字,而后面的数字一般认为不能保证是正确的。
当两个相近的数进行相减时,前面的数字可能会相互抵消,从而导致结果的有效数字减少。这种情况下,结果的有效数字可能不足 8位,因此需要补充后面的数字。然而,这些补充的数字并不能保证其准确性。
在计算机的错误计算(四十一)中,Y[1,1]与 Y[1,4]就属于这种情形。
下面我们复原它们的计算过程。
从上可看出,两个均是发生了相减相消:均是两个 3位整数的相近数相减,抵消掉 2位整数,即变成了“00”。这时不得不从后面添加 2位数字。而这 2位数字是由不可靠的数字相减获得,从而也不能保证正确。这样,在 8位有效数字的输出中,产生了 2位错误数字。
上面计算过程虽然是在十进制下完成,但是,对计算机的二进制运算也有效。因为表示误差一般是影响后面的数字,不会是前面的数字(起码对本节内容属实)。若是影响到了前面的数字,那说明误差太大了,那就另当一说。
总结一下:表示误差使得后面的数字错误,相减相消将这些错误数字挪到了前面。再透彻一点,假设 2个 有 n位整数的数相减,得到的差有 n-m 位整数,那么结果中有约 m位错误数字。
有关相减相消内容,可以参考计算机的错误计算(十七)。