- SVD定理
A是mxn维矩阵,根据svd定理可以被表示为
A
=
U
Σ
V
T
A = U\Sigma V^T
A=UΣVT
其中
U
U
U为mxm维正交矩阵,
V
V
V为nxn维正交矩阵,
Σ
\Sigma
Σ为mxn维矩阵,其rxr维的submatrix对角线元素为A矩阵的奇异值,r为A矩阵的rank,表示线性无关的行或列的个数。
- 直观理解
如下图所示A可以被表示成一组连续的transformation,该过程可以被分解成先后应用 V T , Σ , U V^T, \Sigma, U VT,Σ,U三个transformations。
V T V^T VT的作用为在n维空间进行basis change,在该例子中左上图中向量维度为2,故V的维度为2x2
Σ \Sigma Σ起到scale各维度对应的奇异值倍并且将n维map到m维,该例子中为从2维map到3维
U U U作用为在m维进行basis change
整个流程为从左上到右上。