利用逆矩阵解线性方程组_《线性方程组的类型及求解》（三）

相关链接：《线性方程组的类型及求解》（目录），《线性方程组的类型及求解》（一），《线性方程组的类型及求解》（二），《线性方程组的类型及求解》（三），《线性方程组的类型及求解》（四）

五. 附录

5.1 奇异值分解

1. 研究目的：首先要明白，矩阵分解的目的是将一个矩阵分解为 比较简单或 具有某种特性的若干矩阵的 和或 乘积。好处包括：(1) 可以反映原矩阵的某些 数值特征；(2) 其分解方法与过程往往为某些有效的 数值计算方法和理论分析提供了重要的依据，因而使其对分解矩阵的讨论和计算带来了极大的方便。矩阵的奇异值分解一定存在，但不唯一，可以近似看作是矩阵数据压缩的一种方法。

5.1.1 奇异值的定义

设

,

的特征值为

，则称

为矩阵

的

正奇异值。

1. 一些矩阵关于奇异值的性质：
(1)

与

有相同的正奇异值。（由【1】P118的定理1可证明。定理1包括三点：设

，则有 (a)

；(b)

、

的特征值均为非负实数；(c)

、

的非零特征值相同。定理1的证明参见【1】P118-119）

(2) 若

与

酉等价，则

与

有相同的正奇异值。（【1】P120证明，酉变换与酉矩阵的定义性质定理参见【1】P22-23）

5.1.2 完全奇异值分解

(a) 首先求

的特征值和特征向量；

(b) 求

阶正交矩阵

（其中

为正特征值对应的特征向量，

为0特征值对应的特征向量。所以说SVD不唯一，因为特征向量的选取不唯一哟）；

(c) 求

对角矩阵

（其对角线元素为奇异值，且按降序排列）；

(d) 求

阶正交矩阵

（其中

，

，【4】P275证明了它是一组标准正交集；

，是

的零空间的一组标准正交基，零空间定义见【4】P275）；

(e) 得到奇异值分解

。（【4】P283的例15.5）

1. 理解：
(1) 奇异值分解不仅可以对实矩阵进行操作，还可以对复数矩阵进行操作。此外，奇异值分解还可以拓展到张量，即张量奇异值分解 （【4】P295的参考文献）；
(2) 左奇异向量

和右奇异向量

都是正交矩阵，说到正交矩阵，不得不想到它的一些良好性质，比如 (a) 正交矩阵求逆就特别方便，直接将它转置即可; (b) 对一个矩阵左乘正交矩阵造成的空间变换相当于用了一个新空间代替原空间，即用另一组正交基来描述被变换的向量，且不改变向量的长度和空间位置。知道了这些，就可以对奇异值分解做出几何解释了，【4】P279的图15.1简直逆天式地直观地进行了解释，大概意思就是：矩阵

对一个向量做线性变换

，它等价于

，可将线性变换分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的压缩变换、另一个坐标系的旋转或反射变换。此外，【4】P279的例15.4还给出了一个代数例子。

5.1.3 紧奇异值分解

若

，则

为

的紧奇异值分解，其中

是

矩阵，

是

矩阵，

是

阶对角矩阵。（其实就是由完全奇异值分解各矩阵的前

列得到的）（【4】P277例15.2）

1. 应用：无损压缩

5.1.4 截断奇异值分解

若

且

，则

为

的截断奇异值分解，其中

是

矩阵，

是

矩阵，

是

阶对角矩阵。（其实也就是从完全奇异值分解各矩阵的前

列得到的）（【4】P278例15.3）

1. 应用：有损压缩。实际应用中提到矩阵的SVD时，通常指截断SVD哟！

5.1.5 主要性质

(1) 矩阵

和

的特征分解存在，且可以由

的奇异值分解的矩阵表示，即

，同理

。

(2) 奇异值、左奇异向量和右奇异向量之间存在对应关系：(a)

,

；(b)

及

,

。

(3) 奇异值分解中，奇异值

是唯一的，而矩阵

和

不是唯一的。

(4) 矩阵

和

的秩相等，等于正奇异值

的个数

（包含重复的奇异值）。

(5)

的

个右奇异向量构成

的一组标准正交基，

个右奇异向量构成

的一组标准正交基，

个左奇异向量构成

的一组标准正交基，

个左奇异向量构成

的一组标准正交基。

(6) 等式关系：(a)

；(b)

; (c)

，则

; (d) 若

可逆，则

。

(7) 不等式关系：(a)

;(b) 若

是删去

的任意一列得到的矩阵,则

。

5.1.6 应用

5.1.6.1 矩阵的最优近似

奇异值分解是在平方损失（费罗贝尼乌斯范数

）意义下对矩阵的最优近似，即数据压缩。意思就是：在秩不超过

的

矩阵的集合中，存在矩阵

的费罗贝尼乌斯范数意义下的最优近似矩阵

。参见【4】P287的定理15.2（存在性）和【4】P287的定理15.3，其中的

则是达到最优值的一个矩阵。（【4】P288-289证明）

5.1.6.2 矩阵的外积展开式

，该式将

分解为矩阵的有序加权和（【4】P292的例15.6），由此展开式可知，设矩阵

，则

的秩为

，并且

是秩为

的矩阵中在弗罗贝尼乌斯范数意义下

的最优近似矩阵。矩阵

就是

的截断奇异值分解。由于奇异值

递减很快，所以

取很小值时，

也可以对

有很好的近似。（【4】P292的例15.6）

5.2 谱分解

1. 研究目的：相似矩阵具有相同的特征值，因而人们总希望在相似矩阵中找到结构最简单的矩阵，利用简单矩阵来表示已知矩阵。（有点像线性空间的向量叠加表示，这里只不过推广到矩阵了，正如量子力学中推广到函数一样吧）

5.2.1 形式一：单纯矩阵

5.2.1.1 单纯矩阵的定义

若矩阵

的每个特征值的代数重复度与几何重复度相等，则称

为单纯矩阵。（

是单纯矩阵的

充要条件是

与对角矩阵相似，即

）

1. 基本概念：设

是

的

个相异特征值，其重数分别为

，则称

为矩阵

的特征值

的

代数重复度。齐次方程组

的解空间

称为

的 对于特征值

的特征子空间，而

的维数称为

的特征值

的

几何重复度。

5.2.1.2 单纯矩阵的谱分解步骤

(a) 算

的特征值；

(b) 算特征值对应的特征向量

，得到

；

(c) 对

求逆，得到

；

(d) 得谱分解形式

。（【1】P96-97证明，【1】P124的习题1和2）

1. 推广：可以推广至矩阵函数的谱分解，当

是

的多项式或者是

的函数时，则有

。

2.

的性质：(a) 幂等性：

(b) 分离性：

(c)可加性：

（这一条性质用来验证谱分解的正确性，证明在【1】的P97）。

5.2.1.3 定理

设矩阵

有

个相异特征值

则

是单纯矩阵的

充要条件是存在

个矩阵

满足：(1)

；(2)

；(3)

。（【1】P98-100证明）

5.2.2 形式二：正规矩阵

5.2.2.1 正规矩阵的定义

若

阶复矩阵

满足

，则称

为正规矩阵，当

为

阶实矩阵且满足

，则称矩阵

为实正规矩阵。（

阶复矩阵

是正规矩阵的

充要条件是

与对角矩阵酉相似，即

，【1】P102证明）

1. 举例：比如单位矩阵, 对称矩阵, Hermite矩阵, 反Hermite矩阵(

,

) 都是正规矩阵，这些常见的十分有必要记住，因为要对一个矩阵进行谱分解前，首先应该判断它是单纯矩阵还是正规矩阵，再选择相应的分解方法进行谱分解。

2. 一些性质：(a) 设

为正规矩阵，

与

酉相似，则

为正规矩阵（【1】P100-101证明）; (b) （Schur分解）设

，则存在酉矩阵，使得

，其中

是一个上三角矩阵且主对角元线上的元素为

的特征值（证明【1】P101）; (c) 设

为正规矩阵且是三角矩阵，则

是对角矩阵（证明【1】P101-102）。

5.2.2.2 正规矩阵的谱分解步骤

就和5.2.1.2是相似的，这里只不过换成复矩阵罢了~

1.

的性质：(a)

是正交投影算子；(b)

是唯一的；(c)

,

；(d) 若

，则

；(e) 从属于不同特征值的特征向量正交。（【1】P104-105证明）

5.2.2.3 定理

设

，

有

个相异特征值

，则

是正规矩阵的充要条件是存在

个矩阵

满足：(1)

；(2)

；(3)

；(4)

。（【1】P102-104证明，【1】P124的习题9，要第一时间判断出它是一个正规矩阵，然后使用合适的正规矩阵的谱分解方法~）

5.3 最大秩分解（

）

5.3.1 分解步骤

(a) 设

，将矩阵

实施行（列）初等行变换，得到行（列）简化阶梯型矩阵；

(b) 根据行简化阶梯型矩阵写出矩阵

和

，其中

；

(c) 得最大秩分解

。（【1】P114-115证明，【1】P115例1）

5.3.2 定理

设

，且

均为

的最大秩分解，则：

(1) 存在

阶可逆矩阵

，使得

；

(2)

。

1. 注意：(1)

; (2)

，则

那么

; (3)

则

那么

。（【1】P116-117证明）