机器学习之上溢，下溢，病态矩阵

数值分析：矩阵求逆-奇异性、条件数
机器学习各种资料涉及到的知识，在我不理解和认为不对的地方做了补充和修改，若有错误欢迎指教！

机器学习算法通常需要大量的数值计算。这通常是指通过迭代过程更新解的估
计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。
常见的操作包括优化（找到最小化或最大化函数值的参数）和线性方程组的求解。
对数字计算机来说实数无法在有限内存下精确表示，因此仅仅是计算涉及实数的函
数也是困难的。

4.1 上溢和下溢
连续数学在数字计算机上的根本困难是，我们需要通过有限数量的位模式来表
示无限多的实数。这意味着我们在计算机中表示实数时，几乎总会引入一些近似误
差。在许多情况下，这仅仅是舍入误差。舍入误差会导致一些问题，特别是当许多
操作复合时，即使是理论上可行的算法，如果在设计时没有考虑最小化舍入误差的
累积，在实践时也可能会导致算法失效。

一种极具毁灭性的舍入误差是下溢（underflow）。当接近零的数被四舍五入为
零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不
同。例如，我们通常要避免被零除（一些软件环境将在这种情况下抛出异常，有些
会返回一个非数字(not-a-number, NaN) 的占位符）或避免取零的对数（这通常被
视为"-无穷"，进一步的算术运算会使其变成非数字）。

另一个极具破坏力的数值错误形式是上溢（overflow）。当大量级的数被近似为
“+无穷”或“-无穷” 时发生上溢。进一步的运算通常会导致这些无限值变为非数字。

必须对上溢和下溢进行数值稳定的一个例子是softmax 函数（softmax func-tion）。softmax 函数经常用于预测与Multinoulli 分布相关联的概率，定义为：


（与通常的条件数定义有所不同）这是最大和最小特征值的模之比1。当该数很大时，矩阵求逆对输入的误差特别敏感。
这种敏感性是矩阵本身的固有特性，而不是矩阵求逆期间舍入误差的结果。即
使我们乘以完全正确的矩阵逆，病态条件的矩阵也会放大预先存在的误差。在实践
中，该错误将与求逆过程本身的数值误差进一步复合。