矩阵为奇异工作精度_矩阵的条件数

矩阵的条件数（condition number）是数值分析和线性代数中的一个重要概念，它刻画了矩阵某方面的特性。本文从条件数的定义到应用，全方位解读一下这一概念。

矩阵范数

我们都知道，向量范数是对向量长度的一种衡量。最常用的2范数，即为向量在欧式空间中的长度。那么矩阵有范数吗？如果有，矩阵范数也是对其长度的衡量吗？

矩阵也有范数，但并非是对其长度的衡量。将矩阵与向量放在一起做个比较，从几何意义上来说，向量表示的是一个具体的点，而矩阵则是用来对点进行坐标变换。也就是说，向量是实体，矩阵是对实体的变换。实体的长度是范数，与此对应，矩阵对实体变换的能力也是范数。这一能力，恰好体现在向量变换前后其长度的缩放程度，矩阵范数越大，越可能把一个向量拉得更长。这一概念用公式表示如下

向量

在经过矩阵

变换前后模长比值的最大值，定义为

的范数。

现在，我们根据上面的定义计算

的范数

其中，第三个等式进行了变量替换

。于是，我们发现互逆的两个矩阵的范数间有所关联。

对向量的拉伸能力，等同于

对向量的压缩能力。如果我们把这两个能力结合起来考虑，会得到什么结果呢？

条件数

定义

为矩阵

的条件数。结合上面提到的几何意义，条件数同时描述了矩阵

对向量的拉伸能力和压缩能力，换句话说，令向量发生形变的能力。条件数越大，向量在变换后越可能变化得越多。

接下来，我们将会看到，条件数在线性方程稳定性上扮演着怎样的角色。

线性方程的稳定性

考虑线性方程

，我们如何衡量其稳定性呢？很简单，该方程中，

是系数矩阵，一般由模型决定，

是待求量，

一般是观测值。如果观测值的微小改动不会使方程的解

发生剧烈变化，就称该方程是稳定的。也就是说，稳定性衡量的是线性方程的抗噪声能力。

在方程右侧添加噪声

，此时方程的解变为

，公式表示如下

代入

，得到

两边同时取范数

由(1)式可知

，代入上式得

同理，由(2)式可知

，对

两边同时取范数得到

，两者结合可得

将(4)(5)左右两边分别乘起来，并整理得

该式规定了线性方程的解

受观测值

影响的下界。比如当条件数为10时，观测值变化100%，会导致解最少变化10%。

既然有下界，当然也有上界，上界的推导与上述过程类似，不同的是，需要将

与(1)结合，将

与(2)结合，再相乘即可。可得到的结论为

该上界表明，当条件数为10时，观测值变化100%，会导致解最多变化1000%。

最后，把上面两个不等式放在一起

重新审视这一不等式，我们可以得到一些直观的结论。首先，矩阵

的条件数唯一决定了线性方程的解

受观测值

的噪声的影响程度，条件数越大，

受噪声影响越严重，这意味着，

的变化率越偏离

的变化率（注意，并非只有

变化率远大于

的变化率才叫偏离，

变化率过小的情况也叫偏离，比如无论

怎么变化，

都纹丝不动）。其次，条件数对稳定性的衡量不受尺度影响，整体放缩任意的比例都不会影响该不等式的结果，因为受噪声影响程度是通过变化率来衡量的，与绝对大小无关。

如何计算条件数

让我们回到矩阵范数的定义

它的几何含义是向量在经过

变换后其长度的最大放大倍数。可是怎么计算这个最大值呢，总不能把所有

各试一遍吧。

回忆曾经学过的线性代数，里面有一个概念——奇异值，恰好可以完美表达这一思想。奇异值分解在几何上的表现就是将一组正交基转化为另一组正交基，奇异值描述了对应基向量的放缩倍数。这样的话，最大的奇异值就对应了向量经过

变换后可能达到的最大放大倍数，最小的奇异值则对应了向量经过

变换后可能达到的最小放大倍数。如此一来，式(1)(2)分别对应矩阵

最大的奇异值，记作

，以及最小的奇异值的倒数，记作

，两者相乘即得到条件数的计算公式

结语

本文简单介绍了矩阵范数、条件数的概念及其在线性方差稳定性中的应用。事实上，广义的条件数不仅仅局限于矩阵，它是误差分析中的一项通用工具。条件数的计算方式也不只一种，根据矩阵的形式有所不同。笔者对条件数的认识有限，只能讲到这里，如有错误恳请随时指出。

参考资料

What is the Condition Number of a Matrix? Cleve Moler

Why the condition number of matrix given by eigenvalues? Math.StackExchange

Condition number Wikipedia