线性代数之——矩阵范数和条件数

最新推荐文章于 2024-05-27 16:14:01 发布

seniusen

最新推荐文章于 2024-05-27 16:14:01 发布

阅读量3.4k

点赞数

分类专栏：数学之美文章标签：线性代数矩阵范数和条件数

本文链接：https://blog.csdn.net/seniusen/article/details/103309424

版权

数学之美专栏收录该内容

32 篇文章 20 订阅

订阅专栏

1. 矩阵范数

我们怎么来衡量一个矩阵的大小呢？针对一个向量，它的长度是 $||\boldsymbol x||$ 。针对一个矩阵，它的范数是 $∣ ∣ A ∣ ∣$ 。有时候我们会用向量的范数来替代长度这个说法，但对于矩阵我们只说范数。有很多方式来定义矩阵的范数，我们来看看所有范数的的要求然后选择其中一个。

Frobenius 对矩阵中的所有元素进行平方 $a_{ij}|^2$ 再相加，然后 $A||_F$ 就是它的平方根。这就像把矩阵看作是一个很长的有 $n^2$ 个元素的向量，这有时候会很有用，但这里我们不选择它。

向量范数满足三角不等式，即 $||\boldsymbol x+\boldsymbol y|| $ 不大于 $||\boldsymbol x|| + ||\boldsymbol y|| $， $2\boldsymbol x$ 或者 $-2\boldsymbol x$ 的长度变为两倍。同样的规则也应用于矩阵的范数：

第二个对矩阵范数的要求是新的，因为矩阵可以相乘。范数 $∣ ∣ A ∣ ∣$ 控制着从 $\boldsymbol x$ 到 $A\boldsymbol x$ 和从 $A$ 到 $B$ 的增长。

根据此，我们可以这样定义矩阵的范数：

恒等矩阵的范数为 1，针对一个正交矩阵，我们有 $||Q\boldsymbol x||=||\boldsymbol x||$ ，所以正交矩阵的范数也为 1。

针对正定的对称矩阵， $||A||=\lambda_{max}(A)$ 。

将矩阵分解成 $A=Q\Lambda Q^T$ ，左右两边的正交矩阵保持向量的长度不变，因此 $||A\boldsymbol x||/||\boldsymbol x||$ 的最大值就是对角阵中的最大特征值。对于一个对称矩阵，我们仍然可以得到上面的分解，只不过此时的特征值不能保证一定是正数，矩阵的范数变为了特征值绝对值的最大值。

对于不对称的矩阵，它的特征值不能衡量矩阵真正的大小，范数可以比所有特征值都大。

对于上面的例子， $\boldsymbol x=(0, 1)$ 是对称矩阵 $A^TA$ 的特征向量，事实上矩阵的范数是由 $A^TA$ 的最大特征值决定的。

矩阵的范数是 $A^TA$ 最大特征值的平方根，也就是矩阵的最大奇异值。

2. 条件数

有些系统对误差很敏感，有些则不是那么敏感，对误差的灵敏度我们用条件数来衡量。

原始的方程为 $A\boldsymbol x=\boldsymbol b$ ，假设方程右边由于测量误差被改变为了 $\boldsymbol b+\Delta \boldsymbol b$ ，那么我们的解就变成了 $\boldsymbol x+\Delta \boldsymbol x$ ，我们的目标是估计 $\Delta \boldsymbol b$ 是怎么影响 $\Delta \boldsymbol x$ 的。

$A(\boldsymbol x+ \Delta \boldsymbol x)=\boldsymbol b+\Delta \boldsymbol b \to A \Delta \boldsymbol x=\Delta \boldsymbol b \to \Delta \boldsymbol x=A^{-1}\Delta \boldsymbol b$

如果 $A^{-1}$ 很大的话，此时矩阵接近于奇异， $\Delta \boldsymbol x$ 就会很大。 $\Delta \boldsymbol x$ 还会变得特别大如果 $\Delta \boldsymbol b$ 在错误的方向，因为它会被 $A^{-1}$ 放大。最大的误差为 $||\Delta \boldsymbol x||=||A^{-1}|| \space ||\Delta \boldsymbol b||$ 。

但这样会有一个问题，当我们改变 $A$ 的话，方程的解 $\boldsymbol x$ 和 $\Delta \boldsymbol x$ 都会同时改变，相对误差 $||\Delta \boldsymbol x|| / ||\boldsymbol x||$ 却保持不变。事实上，应该是解 $\boldsymbol x$ 的相对误差和 $\boldsymbol b$ 的误差相比较，条件数 $\space ||A^{-1}||$ 衡量了方程 $A\boldsymbol x=\boldsymbol b$ 的灵敏度。

证明

$\tag{1}A \boldsymbol x=\boldsymbol b \to ||\boldsymbol b|| \leqslant ||A|| \space ||\boldsymbol x||$

$\tag{2}\Delta \boldsymbol x=A^{-1}\Delta \boldsymbol b \to ||\Delta \boldsymbol x|| \leqslant ||A^{-1}|| \space ||\Delta \boldsymbol b||$

(1) 式和 (2) 式相乘，可得，

$\tag{3} ||\boldsymbol b|| \space ||\Delta \boldsymbol x|| \leqslant ||A|| \space ||A^{-1}|| \space ||\boldsymbol x|| \space ||\Delta \boldsymbol b||$

上式两边同时除以 $||\boldsymbol b|| \space ||\boldsymbol x||$ 可得，

$\tag{4}\frac{ ||\Delta \boldsymbol x||}{||\boldsymbol x||} \leqslant ||A|| \space ||A^{-1}|| \space \frac{\space ||\Delta \boldsymbol b||}{||\boldsymbol b||}=c\frac{\space ||\Delta \boldsymbol b||}{||\boldsymbol b||}$

同理可得，

此外，对于正定矩阵，条件数来自于它的特征值。

获取更多精彩，请关注「seniusen」!

seniusen

关注

0
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
线性代数之——矩阵范数和条件数

1. 矩阵范数我们怎么来衡量一个矩阵的大小呢？针对一个向量，它的长度是 ∣∣x∣∣||\boldsymbol x||∣∣x∣∣。针对一个矩阵，它的范数是 ∣∣A∣∣||A||∣∣A∣∣。有时候我们会用向量的范数来替代长度这个说法，但对于矩阵我们只说范数。有很多方式来定义矩阵的范数，我们来看看所有范数的的要求然后选择其中一个。Frobenius 对矩阵中的所有元素进行平方 ∣aij∣2|a_{i...
复制链接

扫一扫

专栏目录