计算机的错误计算(四十二)

摘要  计算机的错误计算(四十一)展示了 PyTorch 库的矩阵乘积的结果的精度问题。 本节指出精度损失的部分原因是相减相消。

       不可否认,表示误差会导致计算误差。然而,表示误差一般来说会使得数值具有一定的精度。例如,在单精度浮点数下,通常可以保证约 8位有效数字,而后面的数字一般认为不能保证是正确的。

       当两个相近的数进行相减时,前面的数字可能会相互抵消,从而导致结果的有效数字减少。这种情况下,结果的有效数字可能不足 8位,因此需要补充后面的数字。然而,这些补充的数字并不能保证其准确性。

       在计算机的错误计算(四十一)中,Y[1,1]与 Y[1,4]就属于这种情形。

       下面我们复原它们的计算过程。

Y[1,1]=\sum\limits_{i=0}^{i=2} W[1,i]\times X[i,1]\\=5.684312820434570\times(-5.663175106048584)\\-10.845223426818848\times(14.565025329589844)\\-13.985954284667969\times(-12.904350280761719)\\ =-0.3219125885967787157988241314888e2\\ -0.157960953916677688981569528579712e3\\ +0.180479653100075672583944320678711e3\\ =-0.190152212776355560561451941728592e\textcolor{red}{3}\\ +0.180479653100075672583944320678711e\textcolor{red}{3}\\ =-0.\underbrace{\textcolor{red}{00}\textcolor{blue}{967255}}_{\textup{8 digits}}9676279887977507621049881e\textcolor{red}{3}\\ \approx -0.\underbrace{\textcolor{blue}{967255}\textcolor{red}{97}}_{\textup{8 digits}}e\textcolor{red}{1}\,, \\ Y[1,4]=\sum\limits_{i=0}^{i=2} W[1,i]\times X[i,4]\\ =5.684312820434570\times(-15.091076850891113)\\-10.845223426818848\times1.918694257736206\\-13.985954284667969\times(-7.184800624847412)\\ =-0.8578240161768371131706041097641e2\\ -0.20808667912903501995120532810688e2\\ +0.100486293083569762796291708946228e3\\ =-0.106591069530587213312180943787098e\textcolor{red}{3}\\ +0.100486293083569762796291708946228e\textcolor{red}{3}\\ =-0.\underbrace{\textcolor{red}{00}\textcolor{blue}{610477}}_{\textup{8 digits}}644701745051588923484087e\textcolor{red}{3}\\ \approx -0.\underbrace{\textcolor{blue}{610477}\textcolor{red}{64}}_{\textup{8 digits}}e\textcolor{red}{1}\,.

       从上可看出,两个均是发生了相减相消:均是两个 3位整数的相近数相减,抵消掉 2位整数,即变成了“00”。这时不得不从后面添加 2位数字。而这 2位数字是由不可靠的数字相减获得,从而也不能保证正确。这样,在 8位有效数字的输出中,产生了 2位错误数字。

       上面计算过程虽然是在十进制下完成,但是,对计算机的二进制运算也有效。因为表示误差一般是影响后面的数字,不会是前面的数字(起码对本节内容属实)。若是影响到了前面的数字,那说明误差太大了,那就另当一说。

       总结一下:表示误差使得后面的数字错误,相减相消将这些错误数字挪到了前面。再透彻一点,假设 2个 有 n位整数的数相减,得到的差有 n-m 位整数,那么结果中有约 m位错误数字。

       有关相减相消内容,可以参考计算机的错误计算(十七)

  • 24
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值