特征值分解和奇异值分解比较
相同处
提取一个矩阵的重要特征,特征值分解是奇异值分解的一个特殊情况
不同处
面向的矩阵不同,特征值分解是面向对称矩阵;奇异值分解是任意矩阵都可以
特征值分解
特征值、特征向量
- 向量形式:
A v = λ v Av=\lambda v Av=λv
- 几何意义:
矩阵A与向量v相乘等于对向量进行一个线性变换(旋转和拉伸):但这里只是进行了拉伸,拉伸的情况用 λ \lambda λ表示。
特征值分解
A
=
Q
Σ
Q
−
1
A=Q \Sigma Q^{-1}
A=QΣQ−1
Q是矩阵A的特征向量组成的矩阵,
Σ
\Sigma
Σ 是对角阵,对角线上是特征值。这里的A一定是方阵
特征值分解例子
结果:将(1.2,0.8)和(0.8,1.2)进行分解后得到了特征值和特征向量:
λ
1
=
2
,
(
1
,
1
)
T
\lambda_1=2,(1,1)^T
λ1=2,(1,1)T
λ
2
=
0.4
,
(
1
,
−
1
)
T
\lambda_2=0.4,(1,-1)^T
λ2=0.4,(1,−1)T
奇异值分解
ps:可针对于非方阵进行分解;对任意矩阵进行分解;
奇异值分解
- 向量形式
M为一个任意的矩阵
m
∗
n
m*n
m∗n;
U是一个
m
∗
m
m*m
m∗m的方阵,U是一个正交矩阵,U里的正交向量被称为左奇异向量
Σ
\Sigma
Σ 是
m
∗
n
m*n
m∗n,除了对角线的元素都为0,对角线上被称为奇异值,
V
T
V^T
VT是V的转置矩阵,
n
∗
n
n*n
n∗n,V是一个正交矩阵,V里的正交向量被称为右奇异向量
- 几何意义:
M 是可以分解成三个矩阵。V 表示了原始域的标准正交基,U表示经过 M 变换后的co-domain的标准正交基,Σ 表示了V 中的向量与u 中相对应向量之间的关系。
奇异值分解两种方法
奇异值分解例子
这里我们用一个简单的矩阵来说明奇异值分解的步骤。我们的矩阵A定义为:
参考:
[1]Microstrong 公众号 机器学习中SVD总结