Robust Recovery of Subspace Structures by Low-Rank Representation学习笔记2

二、基础知识：奇异值分解（SVD）

        核心：将矩阵 M 分解为三个矩阵的乘积形式

        当 M 是2×2的矩阵时，其中 U 和 V 是正交矩阵，对应旋转操作， 是对角矩阵（可能不是方阵），对应拉伸操作，那么对于 M 矩阵代表的线性变化操作，分解后也就是旋转拉伸再旋转。

        继续以2维为例，我们假设 M 是一种线性变换，V 是2维空间上的一组标准正交基  ，经过 M 线性变换后成为了  ，其中  同样是2维空间上的一组标准正交基，于是有输入关系

        SVD 可以推广到任意大小，如下图所示：

 

        由于中间矩阵的数值从大到小排列，为了压缩的同时减小数据存储量，可以去掉一些奇异值，将其简化为下图： 

         右侧的乘法可以拆解为：

↓

 ↓

↓

         对于 SVD 的求解，证明不再赘述，这里仅给出求解步骤：