利用奇异值分解（SVD）来简化数据

SVD的概述

优点：简化数据、去除噪声、提高算法的结果。
缺点：数据的转换可能难以理解。
适用数据类型：数值型数据。
应用场景：1、隐性语义索引（信息检索）；2、推荐系统

基础知识

矩阵分解可以将原始矩阵表示成新的易于处理的形式，这种新的形式是两个或多个矩阵的乘积。
最常见的一种矩阵分解技术就是SVD，可以表示为如下过程：

中间的矩阵只有对角元素，其他元素均为0。其中的对角元素按从大到小排列，这些元素称为奇异值。
奇异值与特征值有共通点：
这里的奇异值就是Data*Data.T特征值的平方根。

SVD的算法流程

主要使用了线性代数的相关知识，这里直接使用numpy中间的linalg这个线性代数工具来求解。

演示

from numpy import *

U, Sigma, VT = linalg.svd([[1, 1], [7, 7]])

print(U)
print(Sigma)
print(VT)

PS：中间的Sigma为矩阵，只是因为特殊性，numpy对其简写了。

之后再补充相关应用。

参考：
《机器学习实战》