奇异值分解(Singular Value Decomposition)是机器学习领域广泛应用的算法,可以用于降维,推荐系统,自然语言处理等领域。
1、SVD定义
基本公式:
如上U,V是酉矩阵,酉矩阵定义为:
为非主对角线上的元素值都为0,主对角线上的每个元素都称为奇异值。
2、特征值与特征向量
Ax=λx (式-1)
如上式,A为n阶矩阵,x为非零向量,λ为常数,则称λ为A的特征值,x为A的特征向量
对于多个λ特征值,则有一个特征向量矩阵,得到如下公式
(式-2)
为特征向量矩阵,
主对角线上为特征值,其余为0。
如果不太了解特征值和特征向量概念,可以看如下链接,还有一个例子,一看便一目了然
https://blog.csdn.net/a727911438/article/details/77531973
3、关于U和V的一些解释与理解
3.1 右奇异矩阵V
V又叫做右奇异矩阵,V实际上为矩阵(注意,意思是这是一个新的矩阵)得所有特征向量构成的矩阵。
证明:
(式-3)
上式证明使用了
将上式-3中,将左右同时乘以V矩阵,则有
上式是不是很熟悉了,参考式-2,证明了V为所有特征向量构成的矩阵,为所有特征值构成矩阵。
3.2 左奇异矩阵U
U又叫左奇异矩阵,U实际上为矩阵的所有特征向量构成的矩阵,证明可以参考上面右奇异矩阵V的证明。
这里参考了 https://zhuanlan.zhihu.com/p/32600280
4.SVD的一些性质
对于奇异值,它跟我们特征分解中的特征值类似,在奇异值矩阵中也是按照从大到小排列,而且奇异值的减少特别的快,在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说,我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。也就是说:
其中k要比n小很多,也就是一个大的矩阵A可以用三个小的矩阵
来表示。如下图所示,现在我们的矩阵A只需要灰色的部分的三个小矩阵就可以近似描述了。
由于这个重要的性质,SVD可以用于PCA降维,来做数据压缩和去噪。也可以用于推荐算法,将用户和喜好对应的矩阵做特征分解,进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法,比如潜在语义索引(LSI)。
这段参考:https://blog.csdn.net/guoxinian/article/details/71078002
5、利用python实现SVD例子
from numpy import *
arr = array([ [1,2],[3,4],[5,6],[7,8] ])
U,Sigma,VT = linalg.svd(arr)
print('U=')
print(U)
print('Sigma=')
print(Sigma)
print('Sigma的维度')
print(Sigma.shape)
print('VT=')
print(VT)
结果如下:U是一个4行4列的矩阵,VT是2行2列的矩阵,Sigma维度为2行2列,这里理解是只显示了对角线的值,非对角线上都为0。(根据SVD公式应该是4行2列,后两行为0来理解了)。
注意:在Sigma中第一个奇异值为14.2690955,远大于后面的数,实际在在工程中,有这么一个事实:前10%或前1%的奇异值之和便很接近所有奇异值之和了,因此,选取某个数目r的奇异值就好了,这意味着数据集中仅有r个重要特征,其余的都是噪声和冗余,这便实现了一个降维去噪的过程。
从NLP中LSI(潜在语义解析)中理解上述矩阵,arr是输入的4篇文档(2列保存的是词频,这里假设一篇文档只有两个单词的词频),
U中矩阵反映的是词与词之间的相关性,VT如上例子,2行2列,1列便表示一篇文档,一篇文档中词的2个单词,1行对应1个特征值,根据奇异值大小从上往下递减。(这里只有2篇文档(输入是4篇),我的理解是线性代数上说就是行列式转换,业务上理解就是对文档进行了一个去重)
按下面的方式降维,假设奇异值只取第一个14.2690995,则VT一篇文档中只以第一个单词,作为文档的代表。进而可以依次来计算相似度进行分类,
描述的可能不是太详细,可以看看这篇文章:https://www.cnblogs.com/pinard/p/6805861.html