本文内容参考《Linear Algebra and Its Applications》中译本《线性代数及其应用》原书第五版
一个可对角化矩阵A,A可以分解为,D为一个对角矩阵,主对角线元素是A的特征值,而P的列是各个特征值对应的特征向量,从而将A分解为了A的特征值与特征向量。
但是并不是每一个矩阵都有上述的分解,所以引入奇异值分解,对于大部分矩阵,奇异值分解是存在的。
奇异值分解将原矩阵分解为
一:奇异值
令A是矩阵,那么
是对称矩阵,所以
可正交对角化。令
是
的单位正交基且构成
的特征向量,
是
的特征值,对于
A的奇异值是的特征值的平方根,记为
,用递减顺序排列,可以看出A的奇异值是向量
的长度
二:奇异值分解
矩阵A的分解涉及一个的“对角”矩阵
,其形式如下:
其中D是一个的对角矩阵,r不超过m和n中较小的一个
定理:设A是一个秩为r的矩阵,存在一个类似上述
的矩阵
,其中D的对角线元素是A的前r个奇异值,
,并且存在一个
正交矩阵U和一个
正交矩阵V使得
.U和V不是A唯一确定的,U的列称为A的左奇异向量,V的列称为A的右奇异向量。
下面的例子将说明如何构造一个矩阵的奇异值分解:
例:求的一个奇异值分解
第一步:将矩阵正交对角化。即求矩阵
的特征值及对应特征向量的单位正交集。
计算步骤就不写了,特征值为
对应的单位特征向量为
第二步:算出和
.将
的特征值按降序排列,它们对应的特征向量
是A的右奇异向量
特征值得平方根就是奇异值,,
,
,所以
第三步:构造U,当矩阵A的秩为r时,U的前r列是从计算得到的单位向量,由于
,所以
由于已经是
的一个基,所以构造U不需要其他向量。
综上所述,A的奇异值分解为:
三:奇异值分解的简化和A的伪逆
当包含零元素的行或列时,矩阵A具有更简洁的分解,取
,将U和V矩阵分块为第一块包含r列的子矩阵:
,其中
,其中
分块乘法表明:
该分解称为A的简化奇异值分解,由于D对角线元素非零,所以D可逆,则:
称为A的伪逆(也称穆尔-彭罗斯逆)