二、基础知识:奇异值分解(SVD)
核心:将矩阵 M 分解为三个矩阵的乘积形式
当 M 是2×2的矩阵时,其中 U 和 V 是正交矩阵,对应旋转操作, 是对角矩阵(可能不是方阵),对应拉伸操作,那么对于 M 矩阵代表的线性变化操作,分解后也就是旋转拉伸再旋转。
继续以2维为例,我们假设 M 是一种线性变换,V 是2维空间上的一组标准正交基 ,经过 M 线性变换后成为了 ,其中 同样是2维空间上的一组标准正交基,于是有输入关系
SVD 可以推广到任意大小,如下图所示:
由于中间矩阵的数值从大到小排列,为了压缩的同时减小数据存储量,可以去掉一些奇异值,将其简化为下图:
右侧的乘法可以拆解为:
↓
↓
↓
对于 SVD 的求解,证明不再赘述,这里仅给出求解步骤: