奇异值分解

$AX=b$

x是n维向量，b是m维向量，表明矩阵A可以将一个n维向量线性变换为另一个m维向量。
这样的线性变换可以为，旋转、投影、缩放三种类型的效
应。

奇异值分解

引入

A singular value decomposition provides a convenient way for breaking a matrix,

$A=\mu \sum {\sigma }^T$
$\mu$是一组正交基， $\sigma$也是一组正交基，奇异值分解的意义就在于，将一个向量从以$\sigma$为基旋转到以$\mu$为基的向量空间里，且还进行一定缩放，表现在对角矩阵$\sum$，缩放因子就是各个奇异值
如果$\mu$的维度小于$\sigma$的维度，则还进行了一定的投影。

奇异值分解的几何意义

对于一个矩阵，找到一组两两正交的单位向量，使矩阵作用在它身上经过线性变换后依然保持两两正交。而奇异值则是其长度发生的变化。

$v_1\perp v_2$
$M{v}_1\perp M{v}_2$
$|M{v}_1|=|{\sigma }_1{v}_1|$

$$A=\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]$$
任意向量以$v_1,v_2$为基的$[{ϵ}_1,{ϵ}_2]$经过矩阵A的线性变换后变成以$u_1,u_2$为基的坐标为$[3{ϵ}_1,{ϵ}_2]=[{\eta }_1,{\eta }_2]$的向量。
如果${ϵ}_1^2+{ϵ}_2^2=1,$则$\frac{{\eta }_1^2}{9}+{\eta }_2^2=1$,即该矩阵将任意一个向量球变成了一个椭圆球。

注：任意在$v_1,v_2$基下的向量x. 可被表示成
$$[v_1,v_2]\ast [x_1,x_2{]}^T$$
或者
$$x=(v_{1}x)v_1+(v_{2}x)v_2$$

特征值特征向量

$AX=\lambda x$
该式子表示，矩阵A对于使上述式子成立的向量，只存在缩放作用。缩放因子就是特征值。
通过找到全部的特征向量和特征值，我们找到了一组基，在这组基下，矩阵A的作用只是纯粹的缩放。

对于实对称矩阵，特征向量两两正交，$x{x}^T=I$ 因此上式可改写成
$A=x\lambda x^T$,则和奇异值分解类似。即将向量从x这组基旋转0度到x这组基，纯粹方向上进行缩放。

总结

特征值分解和奇异值分解都是给一个**线性变换（矩阵）**找一组特殊的基，其中，特征值分解 找到 特征向量 这组特殊的基，没有旋转效果只有缩放效果，缺点在于很多时候不正交，限制了一些应用，但表示和计算方便。

奇异值分解的应用实例

照片像素的存储。

任何一张照片都相当于一个存储像素数值的矩阵。如一张450333的照片，本来需要存储450333个像素值，进行奇异值分解后就变成了
$A=\sum {\sigma }_i{\mu }_i{v}_i^T$
且${\sigma }_1>{\sigma }_2......>0$
根据存储量，可以只保留前几项奇异值较大的，就可以取得不错的效果

去噪

删掉一张照片里奇异值较小的几项，可以达到不错的效果

详情见

https://www.zhihu.com/question/22237507/answer/53804902