计算机中的数值计算,通常是指通过迭代
过程更新解的估计量来解决数学问题, 而不是我们在草稿纸上通过解析
过程推导出公式来提供准确解的方法。常用的操作包括两类
- 优化:找到最小化或最大化函数值的参数
- 线性方程组的求解
上溢和下溢(underflow & overflow)
在数字计算机,数值存储和处理都是离散的,用有限的内存连一个无限实数都没有办法精确表示。这种计算机表示值和真实值之间的误差,通常情况下表现为一些近似误差,不影响结果的准确性。但是一些计算情况下,误差得以积累放大,或者摄入误差带来质的变化时,会导致理论上可行的算法在编程实践中失效。
- 一种舍入误差是下溢(underflow), 当接近于0 的数被四舍五入为0时发生下溢。比如一个数
0.000000000000000000258
被舍入为0.0
,如果这个数用在加法运算中,那没什么问题。而如果这个数被用在除法运算的分子位置,或者用在取 log log 的位置,那么问题就严重了。有的直接抛异常,有的返回NaN占位符,有的需要预先定义特殊情况,比如 log0=−∞ log 0 = − ∞ , 以便下一步处理。总之需要特殊考虑。 - 另一种数值错误是上溢(overflow),也就是通常说的溢出。当很大的数值(接近 +∞or−∞ + ∞ o r − ∞ )突破了计算机存储数值的极限的时候,就会发生上溢。数值变成非数字,或者变成错误的数值。
为了保证运算过程和结果的正确性,必须对上溢和下溢进行数值稳定。一个很突出的例子就是softmax 函数。softmax 函数定义为
softmax(x)i=exp(xi)∑nj=1exp(xj)