学习来源:《矩阵分析与应用》 张贤达 清华大学出版社
一、矩阵分解的分类
矩阵的分解是指通过线性变换,将某个给定或已知的矩阵分解为两个或三个矩阵标准型的乘积(或两个矩阵标准型之和)。
根据矩阵分解后得到的矩阵的标准型以及是对单个矩阵还是矩阵束(由两个矩阵组成)或矩阵对进行分解来区分矩阵分解的类别。
1. 单个矩阵的分解
根据矩阵 分解后的矩阵的标准型,可以分为以下四大类。
1)对角化分解:
通过正交变换,将矩阵 对角化,又包含三种形式。
① 奇异值分解(SVD): 或
,其中,
和
为酉矩阵,
为对角矩阵。主要针对一般矩阵的对角化分解。
② 特征值分解(EVD): 或
。主要针对对称矩阵的对角化分解。
③ CS分解:可以看作是正交矩阵分块的同时对角化分解。
2)三角化分解:
将矩阵 分解为正交矩阵与三角矩阵之积,或分解为一个上三角矩阵与一个下三角矩阵之积,主要有三种形式。
① Cholesky 分解: ,其中,
为下三角矩阵。主要针对对称正定矩阵的三角化分解。
② QR 分解: 或
,其中,
是正交矩阵,
是上三角矩阵。主要针对一般矩阵的三角化分解。
③ LU 分解: ,其中,
是单位下三角矩阵,
是上三角矩阵。主要针对非奇异矩阵的三角化分解。
3)三角 — 对角化分解:
将矩阵分解为三个矩阵标准型(两个三角矩阵和一个对角矩阵)之积,或分解为两个矩阵标准型(对角矩阵和上三角矩阵)之和。主要有以下形式
① 分解:
,其中,
和
为单位下三角矩阵,
为对角矩阵。主要针对非对称矩阵的三角 — 对角化分解。
② 分解:
。主要针对对称矩阵的三角 — 对角化分解。
③ 分解:
,其中,
为酉矩阵,
为对角矩阵,
是严格上三角矩阵。主要针对复矩阵的三角 — 对角化分解。
4)三对角化分解:
Householder 三对角化分解: ,其中,
为 Householder 变换之积,且
是三对角矩阵。
2. 矩阵束的分解
矩阵束的分解主要用于求解矩阵束的广义特征值分解问题 中的
方法中,涉及两个矩阵的同时分解。这种分解的主要形式是广义 Schur 分解。
广义 Schur 分解: 和
,其中,
和
为酉矩阵,
和
为上三角矩阵。
实现广义 Schur 分解需要先使用 Hessenberg 三对角化分解: 和
,其中,
和
为正交矩阵,
为上 Hessenberg 矩阵,
是上三角矩阵。
二、对角化分解
定理(CS 分解):若 矩阵
是正交的,其中, 是
矩阵,且
,则存在正交矩阵
和正交矩阵
使得
其中
且 。
简单来说,CS 分解相当于将一个正交矩阵的各个分块同时对角化。
三、Cholesky 分解和 LU 分解
1. Cholesky 分解
设 是对称正定矩阵,则
称为矩阵
的 Cholesky 分解,其中,
为下三角矩阵且对角线元素为正,即
下三角矩阵 称为 Cholesky 三角。此外,Cholesky 分解也称为“平方根法”,因为下三角矩阵
可以看作矩阵
的“平方根”。
一个非奇异矩阵 的逆矩阵
也可以通过 Cholesky 分解求得,即
其中, 。
2. LU 分解
考虑到求解线性方程组 时,通过正交变换,将
矩阵
分解为
,其中,
为
单位下三角矩阵且
是
的
阶梯型矩阵;此时令
,方程组
变为先求解
,解之得
。在求解
得到方程组的解向量
。
于是,通过矩阵的 分解,线性方程组
的求解分为两个三角矩阵方程的求解,步骤如下:
1)计算 ;
2)求解下三角矩阵方程 ;
3)求解上三角矩阵方程 。
因此关键就是矩阵 的 LU 分解。
定理(LU 分解):若 非奇异,且
的 LU 分解存在,则
的 LU 分解是唯一的,且