机器学习中的数学——上溢和下溢

分类目录：《机器学习中的数学》总目录

---

连续数学在数字计算机上的根本困难是，我们需要通过有限数量的位模式来表示无限多的实数。这意味着我们在计算机中表示实数时，几乎总会引入一些近似误差。在许多情况下，这仅仅是舍入误差。舍入误差会导致一些问题，特别是当许多操作复合时，即使是理论上可行的算法，如果在设计时没有考虑最小化舍入误差的累积，在实践时也可能会导致算法失效。

一个极具破坏力的数值错误形式是上溢。当大量级的数被近似为$+\infty$或-\infty$时发生上溢。进一步的运算通常会导致这些无限值变为非数字。

另一种极具毁灭性的舍入误差是下溢。当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。例如，我们通常要避免被零除或避免取零的对数。

必须对上溢和下溢进行数值稳定的一个例子是softmax函数。softmax函数经常用于预测与Multinoulli分布相关联的概率，定义为：
$$\text{Softmax}(x)=\frac{e^{x_i}}{{\sum }_i{e}^{x_i}}$$

当所有$x_i$都等于某个常数$c$时会发生什么。从理论分析上说，我们可以发现所有的输出都应该为$\frac{1}{n}$。从数值计算上说，当$c$量级很大时，这可能不会发生。如果$c$是很小的负数，$e^c$就会下溢。这意味着softmax函数的分母会变成0，所以最后的结果是未定义的。当$c$是非常大的正数时，$e^c$的上溢再次导致整个表达式未定义。这两个困难能通过计算$\text{softmax}(z)$同时解决，其中$z=x-ma{x}_i{x}_i$。简单的代数计算表明，softmax解析上的函数值不会因为从输入向量减去或加上标量而改变。减去$ma{x}_i{x}_i$导致$e$的最大参数为0，这排除了上溢的可能性。同样地分母中至少有一个值为1的项，这就排除了因分母下溢而导致被零除的可能性。

还有一个小问题。分子中的下溢仍可以导致整体表达式被计算为零。这意味着，如果我们在计算$\log \text{softmax}(x)$时，先计算softmax再把结果传给$\log$函数，会错误地得到$-\infty$。相反，我们必须实现一个单独的函数，并以数值稳定的方式计算$\log \text{softmax}$。我们可以使用相同的技巧来稳定\log\text{softmax}$函数。