NLR-CS 学习笔记

基础知识补充

凸优化问题
机器学习中范数规则，这个讲的很清楚link
RIP压缩感知测量矩阵之有限等距性质

奇异值分解

奇异值分解.

奇异值分解与实对称矩阵的特征值分解有很深的联系。

EVD——对于实对称矩阵$A_{n\ast n}$，可将其分解为$A=Q\Lambda Q^T$，其中$\Lambda$的对角线为$A$的特征值，其余元素均为0。
SVD——对于任一实矩阵$A_{m\ast n}$，可将其分解为$A_{m\ast n}=U_{m\ast m}{\Sigma }_{m\ast n}{V}_{n\ast n}^T$，其中$U,V$均为单位正交阵，即：$U{U}^T=V{V}^T=I$， $\Sigma$仅在主对角线上有值，其值称为奇异值。

$U,V,\Sigma$求解

$A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T$
$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=$