基础算法 --- > SVD

奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。

奇异值分解（SVD）通俗一点讲就是将一个线性变换分解为两个线性变换，一个线性变换代表旋转，一个线性变换代表拉伸

注：SVD是将一个矩阵分解成两个正交矩阵和一个对角矩阵，我们知道正交矩阵对应的变换是旋转变换，对角矩阵对应的变换是伸缩变换。

矩阵知识

特征值和特征向量

关于特征值和特征向量的定义如下：
$$Ax=\lambda x$$

其中$A\in R^{n\times n}$的一个矩阵，x是一个n维向量$x\in R^n$，如果上式成立，我们则称$\lambda$为矩阵A的特征值，称x为$\lambda$对应的特征向量。

例子：

特征分解

如果我们求出了矩阵A的n个特征值${\lambda }_1\le {\lambda }_2\le ...{\lambda }_n$，以及这n个特征值所对应的特征向量 { w 1 , w 2 , . . . , w n } \{ {w_1, w_2, ..., w_n\}} { w1​,w2​,...,wn​}，如果这n个特征向量线性无关，那么矩阵A就可以用下式的特征分解表示:
$$A=W\Sigma W^{-1}$$
其中$W=(w_1,w_2,...,w_n)$，$\Sigma =\left(\begin{array}{cc}{\lambda }_1& \\ ...& ...\\ & {\lambda }_n\end{array}\right)$
一般我们会把W的这n个特征向量标准化，即满足$||w_i|{|}_2=1$，或者说$w_i^T{w}_i=1$，此时W的n个特征向量为标准正交基，且满足$W^{T}W=I$，即W为酉矩阵（unitary matrix）。

注意，这里进行特征分解的矩阵必须是方阵，但我们的数据常常不是方阵，对于$n\times m$的矩阵怎么矩阵分解？SVD算法解决该类问题。

特征分解的几何意义

首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵：

$$\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]$$
当我们对一个坐标变换时有：
$$\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}3x\\ y\end{array}\right]$$
它其实对应的线性变换是下面的形式：

特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。
不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

SVD

对于不是方阵的矩阵，需要使用SVD算法进行特征分解。我们事先定义矩阵A的SVD为：
$$A=U\Sigma V^T$$
其中

• U是一个$m\times m$的矩阵，为酉矩阵
• $\Sigma$是一个$m\times n$的矩阵，除了对角线的元素以外，其余的元素均为零。其中主对角线上每个元素都称为奇异值。
• V是一个$n\times n$的矩阵，为酉矩阵。
  进一步有：
  A = ( U 1 U 2 ⏟ U ) ( ∑ 1 0 r × ( n − r ) 0 ( m − n ) ×