特征值分解 & 奇异值分解（SVD）

目录

特征值分解

特征值$\lambda$：表示特征的重要程度
特征向量$\vec v$：表示特征，可以看作线性子空间

目的

提取一个矩阵的最重要的特征

局限

变换的矩阵必须是方阵

奇异值分解

有明显的物理意义
可以克服特征值分解对方阵的要求

原理

将一个比较复杂的矩阵，用更小更简单的几个子矩阵相乘来表示，这些子矩阵描述矩阵的重要特性。

$$A = U \Sigma V^T$$
A： $m \times n$，矩阵
U： $m \times m$，左奇异向量
$\Sigma$： $m \times n$，对角线为奇异值，其他全0，对角线上的奇异值从大到小排列；前10%甚至1%的奇异值的和占全部奇异值和的99%以上
$V^T$： $n \times n$，右奇异向量
计算方法：
$$(A^TA)v_i=\lambda_iv_i$$
$A^TA$：构成方阵
$\lambda_i$：方阵的特征值
$v_i$：方阵的右奇异向量

奇异值：$\sigma_i = \sqrt \lambda_i$
左奇异向量：$u_i = \frac{1}{\sigma_i}Av_i$

使用原因

1.很多基础问题都是NP-hard的，找一个比较好的近似算法要费很大精力
2.SVD理论上只有唯一解，算法速度相对快，且有大量理论结果及周边性质支持
3.表达式对二次的目标函数兼容性好
4.数学基础要求相对低