特征值分解
矩阵和向量做乘法,向量会变成另一个方向或长度的新向量,主要会发生旋转、伸缩的变化。为了更直观的理解,假设某向量为即
,矩阵
乘以此向量之后为
,向量变为了
.
如果矩阵乘以某些向量后,向量不发生旋转变换,只产生伸缩变换(等比例变换),那么这些向量就是矩阵的特征向量,伸缩的比例就是特征值。
假设某向量为即
,矩阵
乘以此向量之后为
,向量变为了
。即
.所以矩阵
的特征向量为
,特征值为3.(例子不太恰当)
特征值分解的过程为,解方程,即
可以解出n个特征值,把特征值代入等式
就可以解出n个特征向量。
具有一般性的数学描述为:,其中A为n阶方阵,
为n维特征向量,
为对应于特征向量
的特征值。特征值分解就是将一个矩阵用特征向量和特征值表示:
。
式中:为矩阵
的特征向量组成的矩阵,
为特征值组成的对角矩阵(特征值从大到小排列)。
特征值的大小代表对应特征的重要性。
特征值分解要求矩阵A为方阵
奇异值分解
奇异值分解突破了方阵的限制,任意非零阶矩阵都可以分解为三个矩阵相乘的形式。
矩阵的奇异值分解是指将非零的阶实矩阵A,
分解为三个实矩阵相乘即
,
式中:、
为正交矩阵(酉矩阵),
的列向量是左奇异向量,
的列向量是右奇异向量,
是由非负的奇异值由小到大组成的对角矩阵。
奇异值分解的步骤:
1.首先求的特征向量
令,求解
,得到特征值
(由大到小),并带入求得对应的特征向量。
2.求阶正交矩阵V
将得到的特征向量单位化,得到单位特征向量,构成
阶正交矩阵
。
3.求阶正交矩阵
令,求解
,得到特征值
(由大到小),并带入求得对应的特征向量。将得到的特征向量单位化,得到单位特征向量
,构成
阶正交矩阵
。
4.求阶奇异值矩阵
,由此可以看出矩阵D的特征向量矩阵就是V,特征值就是奇异值矩阵的平方。所以计算奇异值
,
。