奇异值分解简要笔记

特征值分解

特征值分解可以看作是换基，线性变换在新基下表现为仅仅是对各个坐标轴做伸缩，然后再换回原来的基。
对称矩阵的特征值分解有更好的性质，它可以保证新基是标准正交基。

对称矩阵

正交对角化

对称矩阵有非常好的性质——可以正交对角化。
就是说对称矩阵A可以用特征值和特征向量分解成$A=PD{P}^T$的形式。
其中D是对角矩阵，对角线上是A的特征值。P的列向量是A的标准正交基。
这个形式很好，P是正交矩阵，对应是正交变换。正交变换保留了内积，所以也就保留了角度和距离。这在分类和聚类里面都是很重要的，因为衡量两个向量相似度就是用角度或者距离。
正交变换从几何上看就是旋转（或者旋转加镜面反转）。

谱分解

P的列是一组标准正交基：
$P=[{\mathbf{u}}_1,\cdots ,{\mathbf{u}}_n]$
那么A可以分解成n个矩阵的和：
$A={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+{\lambda }_2{\mathbf{u}}_2{\mathbf{u}}_2^T+\cdots +{\lambda }_n{\mathbf{u}}_n{\mathbf{u}}_n^T$

普通矩阵分解

普通矩阵就不像对称矩阵那么好可以正交对角化。但是普通矩阵可以做奇异值分解，它与对称矩阵的正交对角化是类比关系。

奇异值分解

设A是一个$m\times n$的矩阵，则它可以分解成：
$$A=U\Sigma V$$