机器学习中的数学——病态条件

分类目录：《机器学习中的数学》总目录

---

条件数表征函数相对于输入的微小变化而变化的快慢程度。输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的，因为输入中的舍人误差可能导致输出的巨大变化。

考虑函数$f(x)=A^{-1}x$当$A\in R^{n\times n}$具有特征值分解时，其条件数为：
$$\underset{i,j}{\max }|\frac{{\lambda }_i}{{\lambda }_j}|$$

这是最大和最小特征值的模之比1.当该数很大时，矩阵求逆对输入的误差特别敏感。这种敏感性是矩阵本身的固有特性，而不是矩阵求逆期间舍入误差的结果。即使我们乘以完全正确的矩阵逆，病态条件的矩阵也会放大预先存在的误差。在实践中，该错误将与求逆过程本身的数值误差进一步复合。