机器学习算法（一）SVD

前言：

特征值分解： 其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。

特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。 

一、奇异值

奇异值分解是一个能适用于任意的矩阵的一种分解的方法，可以说和特征值分解的思路一脉相承。

假设A是一个N * M的矩阵，那么得到的U是一个N * N的方阵（里面的向量是正交的，U里面的向量称为左奇异向量），Σ是一个N * M的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），V’(V的转置)是一个N * N的矩阵，里面的向量也是正交的，V里面的向量称为右奇异向量）

前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵，这里定义一下部分奇异值分解：

 

r是一个远小于m、n的数。

二、对奇异值的理解

本质上，奇异值就是对矩阵进行特征提取，就和人一样评价一个事物的时候，会寻找事物最本质的特征。机器学习算法亦是如此，奇异值分解就是把原始矩阵表达为更小的矩阵。