奇异值分解SVD

奇异值分解就是把矩阵拆解成两个正交矩阵和一个对角矩阵的积
即 $A=U\Sigma V^T$

• UV都是正交矩阵,$\Sigma$是对角矩阵
• U是$A{A}^T$的特征向量堆叠,V则是$A^{T}A$特征向量的堆叠
• $\Sigma$是特征值$A{A}^T$的开方构成的对角矩阵

假定A的形状是m×n,奇异值分解有两种形式
一种形式是U是m×r,V是n×r, $\Sigma$是r×r,这里面是r是矩阵的秩,他把一些0元素给去掉了
另一种形式是u是m×m,v是n×n, $\Sigma$是m*n,这里面的$\Sigma$就需要在原本的r×r矩阵右下角填补一些0元素了

它有一个特殊版本是对称矩阵的分解,$S=Q\Lambda Q^T$

手动构造两个对称矩阵 $A{A}^T$(它的对称性可以从矩阵乘法第一种理解推出)和 $A^{T}A$

$A{A}^T=U\Lambda U^T$

$A^{T}A=V\Lambda V^T$

因为$A=U\Sigma V^T$,那么可以得到
$A{A}^T=U\Sigma V^{T}V\Sigma U^T=U{\Sigma }^2{U}^T$(对角矩阵转置是不变的,并且对角矩阵可以把矩阵的平方丢进去当做每个元素的平方)
$A^{T}A=V\Sigma U^{T}U\Sigma V^T=V{\Sigma }^2{V}^T$(对角矩阵转置是不变的,并且对角矩阵可以把矩阵的平方丢进去当做每个元素的平方)

通过对比可以发现,拆解出的第一个正交矩阵U是$A{A}^T$的特征向量堆叠,而另外一个V则是$A^{T}A$特征向量的堆叠

奇异值分解还有另外一种理解方式,不过需要先知道一个知识,正交矩阵族是一个旋转矩阵,同样的旋转矩阵也是正交矩阵
这很好理解,因为正交矩阵本身是一组正交基, 它和01正交基的关系可不就是旋转
$Ax=U\Sigma V^{T}x$ 这表示一个向量被旋转,拉伸再旋转

另外还有一种延伸的分解方式是 A=SQ,即把矩阵拆成对称矩阵和正交矩阵的积
这里面的S就是 $U\Sigma U^T$, Q就是$U{V}^T$