机器学习—SVD

本文将记录学习 刘建平大佬SVD博客的相关内容。

SVD

在特征值和特征向量分解中，一个N*N的矩阵A可以分解为$A=W\Sigma W^{-1}$，其中W矩阵是A矩阵的特征向量组成的标准正交列向量矩阵，$\Sigma$矩阵是由A矩阵的特征值组成的对角矩阵，由于W矩阵是列向量的标准正交基，则$W_{-1}=W^T$
由于特征值分解需要矩阵A是一个N*N的正方矩阵，对于普通的M*N的矩阵无法得到特征值所以需要奇异值分解。

对于一个MN的矩阵A，可以将该矩阵分解为：
$$A=U\Sigma V^T$$
其中矩阵U是一个MM的矩阵，$\Sigma$矩阵是一个M*N的对角矩阵，V矩阵是一个N*N矩阵，其中$U^{T}U=E,V^{T}V=E$。
对于矩阵A的转置和A做矩阵乘法的N*N的矩阵求解得到特征向量，将列向量张成一个N*N的V矩阵，V矩阵中的特征值为矩阵A的右奇异向量：
$$A^{T}A{v}_i={\lambda }_i{v}_i$$

对于矩阵A和A的转置做矩阵乘法的M*M的矩阵求解得到特征向量，将列向量张成一个M*M的U矩阵，U矩阵中的特征值为矩阵A的左奇异向量：
$$A{A}^T{u}_i={\lambda }_i{u}_i$$

对于矩阵$\Sigma$而言是一个只在对角线上有值，其他的位置均为0：
$$\begin{gathered} A=U\Sigma V^T \\ AV=U\Sigma V^{T}V \\ AV=U\Sigma \\ A{v}_i=u_i{\sigma }_i \\ {\sigma }_i=A{v}_i/u_i \end{gathered}$$
这样就得到每个奇异值，进而得到奇异值矩阵$\Sigma$
还有另外一种解法：
$$\begin{gathered} A=U\Sigma V^T \\ {A}^T=V\Sigma U^T \\ {A}^{T}A=V\Sigma U^{T}U\Sigma V^T=V{\Sigma }^2{V}^T \end{gathered}$$
这样就证明了V矩阵的解法，并且得到${\Sigma }^2={\lambda }_V$，进而得到${\sigma }_i=\sqrt{{\lambda }_{Vi}}$，则对于矩阵$\Sigma$可以通过求解$A^{T}A$的特征值求解出来。

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。也就是说：
$$A_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T\approx U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T$$
其中k要比n小很多，也就是一个大的矩阵A可以用三个小的矩阵$U_{m\times k},{\Sigma }_{k\times k},V_{k\times n}^T$来表示

SVD与PCA

在PCA中需要得到样本的协方差矩阵$A^{T}A$最大的前q个特征向量，用这个前q个向量用来做低维投影降维。在SVD计算中不用做特征分解也可以求解出右奇异值矩阵V，这样做在样本量很大时节省时间。
对于SVD的左奇异值U矩阵，得到$X{X}^T$最大的前d个特征向量张成的M*D维矩阵，做以下处理：
$${\hat{X}}_{d\times n}=U_{d\times m}^T{X}_{m\times n}$$
这样就得到一个d*n的矩阵，这个矩阵和原来的矩阵相比行数减少了，这样就完成了对数据的压缩（可以认为是每一维度是一个样本，每个样本是一个特征，对特征就行压缩）