【数值计算】计算机中的数值计算

计算机中的数值计算，通常是指通过迭代过程更新解的估计量来解决数学问题， 而不是我们在草稿纸上通过解析过程推导出公式来提供准确解的方法。常用的操作包括两类

• 优化：找到最小化或最大化函数值的参数
• 线性方程组的求解

上溢和下溢（underflow & overflow）

在数字计算机，数值存储和处理都是离散的，用有限的内存连一个无限实数都没有办法精确表示。这种计算机表示值和真实值之间的误差，通常情况下表现为一些近似误差，不影响结果的准确性。但是一些计算情况下，误差得以积累放大，或者摄入误差带来质的变化时，会导致理论上可行的算法在编程实践中失效。

• 一种舍入误差是下溢(underflow), 当接近于0 的数被四舍五入为0时发生下溢。比如一个数 0.000000000000000000258被舍入为0.0，如果这个数用在加法运算中，那没什么问题。而如果这个数被用在除法运算的分子位置，或者用在取 $\log$ 的位置，那么问题就严重了。有的直接抛异常，有的返回NaN占位符，有的需要预先定义特殊情况，比如 $\log 0 = -\infty$, 以便下一步处理。总之需要特殊考虑。
• 另一种数值错误是上溢(overflow),也就是通常说的溢出。当很大的数值(接近 $+\infty \;or -\infty$)突破了计算机存储数值的极限的时候，就会发生上溢。数值变成非数字，或者变成错误的数值。

为了保证运算过程和结果的正确性，必须对上溢和下溢进行数值稳定。一个很突出的例子就是softmax 函数。softmax 函数定义为

softmax(x)i=exp(xi)∑nj=1exp(xj)