SVD分解:Singular Value Decomposition, 记录点滴。
定义
将矩阵A分解为三个矩阵相乘的形式,其中A为m x n的矩阵,U为m x m 的单位正交阵,V为nxn的单位正交阵, Σ为m x n的 对角阵。
A
=
U
Σ
V
T
A=U\Sigma V^T
A=UΣVT
含义
矩阵的几何意义在于旋转和缩放,U 和 V用来做旋转, Σ用来缩放。
U
U
T
=
I
UU^T=I
UUT=I,
V
V
T
=
I
VV^T=I
VVT=I, 这两个矩阵都是单位正交阵,不会产生缩放。Σ一般是下面的形式
Σ
=
[
λ
1
⋯
⋯
⋯
⋯
λ
2
⋯
⋯
⋯
⋯
⋱
⋯
⋯
⋯
⋯
λ
m
]
\Sigma = \left[ \begin{array}{cccc} \lambda_1 & \cdots &\cdots &\cdots \\ \cdots & \lambda_2 &\cdots &\cdots \\ \cdots &\cdots & \ddots &\cdots \\ \cdots &\cdots &\cdots& \lambda_m \end{array}\right]
Σ=⎣⎢⎢⎡λ1⋯⋯⋯⋯λ2⋯⋯⋯⋯⋱⋯⋯⋯⋯λm⎦⎥⎥⎤
表示常值对向量的缩放。
求解
A
A
T
=
U
Σ
V
T
V
Σ
T
U
T
=
U
Σ
2
U
T
AA^T=U\Sigma V^T V \Sigma^T U^T = U\Sigma^2 U^T
AAT=UΣVTVΣTUT=UΣ2UT
通过对
A
A
T
AA^T
AAT进行特征值分解,即可得到特征向量U,特征值开方可得到Σ。同理根据下式可得V。
A
T
A
=
V
Σ
T
U
T
U
Σ
V
T
=
V
Σ
2
V
T
A^TA=V \Sigma^T U^T U\Sigma V^T =V\Sigma^2 V^T
ATA=VΣTUTUΣVT=VΣ2VT
应用
压缩图像、降噪,取图像矩阵中的重要奇异值进行重构,不重要的奇异值略掉, 即实现了降噪或压缩的效果。
参考:
https://www.cnblogs.com/endlesscoding/p/10033527.html
https://www.cnblogs.com/xiaohuahua108/p/6137783.html?utm_source=itdadao&utm_medium=referral