机器学习实践——利用SVD简化数据

SVD（奇异值分解）

优点:简化数据，去除噪音，提高算法的结果

缺点：数据的转换可能难以理解

利用SVD，我们可以使用小得多的数据集来表示原始数据集，这样做实际上是去除了噪声和冗余信息，以此达到了优化数据、提高结果的目的。

SVD的应用

LSA（隐形语义分析）

在LSA中，矩阵是由文档和词语组成的，当我们应用SVD时，就会构建出多个奇异值，这些奇异值就代表了文档中的主题或概念，这一特点可以用于更高效的文档搜索

推荐系统

简单版本的推荐系统能够计算项或人之间的相似度，更先进的办法则先利用SVD从数据中构建一个空间，然后在该空间下计算其相似度。

矩阵分解

PCA是利用协方差矩阵的特征值，将较大的特征值与特征值提取出来，构建新的压缩矩阵。而SVD则是直接在原矩阵上进行矩阵的分解，这类似于数的因式分解，矩阵分解公式

                                  

上式分解中会构建一个矩阵 该矩阵只有对角元素，其他元素均为0。这些元素被称为奇异值，它们对应了原始数据集的奇异值。在科学和工程中，一直存在一个这样的惯例：在某个奇异值的数目（r个）之后，其他奇异值都置为0.这就意味着数据集中仅有r个重要的特征，而其余的特征都是噪音或冗余特征。

实现SVD

def loadData():
    return [[1,1,1,0,0],
            [2,2,2,0,0],
            [1,1,1,0,0],
            [5,5,5,0,0],
            [1,1,0,2,2],
            [0,0,0,3,3],