关于SVD的应用详解

原创 2017年10月13日 21:45:01

关于SVD

SVD (Sigular Value Decomposition)奇异值分解,主要用于降维、压缩、隐性语义以及推荐系统上。要了解奇异值分解,首先要了解特征值分解,通过求解一个矩阵的特征值,我们可以把一个矩阵通过映射、拉伸或者压缩投射到一个新的空间中,相对于原空间来讲,投射到的新空间的维度会增加(一般是从一个二维空间向高维空间转换)在高维空间中的维度我们就能提取到一个矩阵的主要特征。奇异值也是这样,只不过特征值的特征提取只能针对与方阵而言,而奇异值并没有这个要求可以获得m*n矩阵的特征(m不等于n)。
特征分解
这里写图片描述

满足上式的lambda 为特征值,对应的向量x为特征向量。
A矩阵可以表示为:
这里写图片描述

k为A矩阵特征值的个数,U矩阵为正交矩阵。
A可以分解为特征向量加和的形式。最终Ax则演变为

这里写图片描述
x则会被经过拉长、压缩等操作映射到一个A的特征向量作为维度方向的空间中。
同样的我们再来看SVD。
SVD的适用性更强,不要求必须为方阵,在日常生活中可能很多情况都不能满足方阵,比如用户对菜品的打分,在一般情况下,菜品的维度要比用户的维度小很多,不能满足特征值分解对矩阵为方阵的条件,在这种情况下一般使用的就是奇异值分解。
奇异值的计算
这里写图片描述 为方阵,求这个方阵的特征值的平方根对应为矩阵A的奇异值。
同样的SVD还可以用来求解伪逆,这里推荐一篇博客
SVD矩阵分解后
这里写图片描述 k是一个远小于m,n的整数。
U就是左奇异向量,VT就是右奇异向量。奇异值σ跟特征值类似,在矩阵Σ中也是从大到小排列,而且σ的减少特别的快,在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。

SVD的压缩存储

因此SVD可以应用在图片压缩上,原始图像假设为32*32=1024像素的,那么如果我们不进行压缩存储,那么我们就需要存储1024个像素点,但是如果我们采用SVD压缩存储,k=2的时候就能获得图像的90%以上的能量,那么我们只需要存储32*2+32*2+2=130个数字,通过这里写图片描述就能近似的还原原图像,并且实现了将近十几倍的压缩比。

SVD的隐性语义分析

对文章进行分类可以利用余弦相似度来计算,但是通常我们处理的文章数量十分大,词语非常多,可能会达到百万级别上,如果按照两两文章计算相似度计算量是非常大,而SVD矩阵分解能有效的降低计算复杂度。
首先有一个文章-词的矩阵A,维度为M*N,M为文章的个数,N为M个文章形成的整个语义库的大小。A表示了文章和词的关联程度。Ai,j表示第 j 个词在第 i 篇文章中出现的加权词频(比如,TF/IDF)。
SVD矩阵分解分解为3个矩阵
这里写图片描述
SVD分解不仅能减少存储量和计算量,并且这三个矩阵还有着十分明确的物理含义。第一个矩阵X中的每一行表示意思相关的一类词,其中的每个非零元素表示这类词中每个词的重要性(或者说相关性),数值越大越相关。最后一个矩阵Y中的每一列表示同一主题一类文章,其中每个元素表示这类文章中每篇文章的相关性。中间的矩阵则表示类词和文章雷之间的相关性。因此,我们只要对关联矩阵A进行一次奇异值分解,我们就可以同时完成了近义词分类和文章的分类。(同时得到每类文章和每类词的相关性)

SVD 的推荐系统

基于SVD的推荐系统要结合向量相似度的计算度的方法,找到与待推荐用户相似的用户的项目评分情况进行推荐(基于用户的协同过滤方法推荐)或者找到与待推荐用户评分高的项目相似的项目进行推荐(基于内容的协同过滤方法推荐)。所以如果我们要想进行协同过滤,需要经过向量相似度计算,而用户与用户的向量相似度计算或者是项目与项目的向量相似度计算都要涉及到获得用户的潜在特征向量和项目的潜在特征向量,而SVD的矩阵分解获得U矩阵和V矩阵的物理的含义无疑就是这样的。
这里写图片描述
U矩阵行向量表示用户u的k维特征表示,V矩阵的行向量表示项目i的k维特征表示。我们可以用U矩阵的任意两行行向量计算用户u1和u2的相似度,或者用V矩阵的任意两行行向量来计算项目i1和i2的相似度。计算向量相似度的公式有很多,这里用的为余弦相似度
当我们拿到一个新的用户u3时,或许u3并没有对所有的项目打分或者是评价,那么这个行向量就是稀疏的,也就说N个元素的行向量中为0的元素非常多,我们希望能用协同过滤的方法推测出用户u3对这些缺失值的评分情况。
假设u3评分的行向量为w,w是稀疏的,首先我们要把w转换为低维空间这里写图片描述
在U矩阵的m个用户分别与wnew计算余弦相似度,将与用户u3相似度高的用户打分的项目并且用户u3没有打分的项目推荐给用户u3或者作为用户u3对此项目的打分。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

SVD在推荐系统中的应用详解以及算法推导

前面文章SVD原理及推导已经把SVD的过程讲的很清楚了,本文介绍如何将SVD应用于推荐系统中的评分预测问题。其实也就是复现Koren在NetFlix大赛中的使用到的SVD算法以及其扩展出的RSVD、S...

奇异值分解(SVD)详解及其应用

1.前言 第一次接触奇异值分解还是在本科期间,那个时候要用到点对点的刚体配准,这是查文献刚好找到了四元数理论用于配准方法(点对点配准可以利用四元数方法,如果点数不一致更建议应用ICP算法)。...

奇异值分解(SVD)详解及其应用

1.前言 第一次接触奇异值分解还是在本科期间,那个时候要用到点对点的刚体配准,这是查文献刚好找到了四元数理论用于配准方法(点对点配准可以利用四元数方法,如果点数不一致更建议应用ICP算法)。...

SVD在推荐系统中的应用详解以及算法推导

转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43083603                            ...

SVD在推荐系统中的应用详解以及算法推导

mark一下吧 转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43083603     前面文章SVD原理及推导已...
  • datase
  • datase
  • 2017年07月02日 20:26
  • 93

SVD在推荐系统中的应用详解以及算法推导

转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43083603     前面文章SVD原理及推导已经把SVD的过程讲的很...

【机器学习详解】矩阵奇异值分解(SVD)及其应用

PCA的实现一般有两种,一种是用特征值分解去实现的,一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中,往往是停留在纯粹的数学计算中。而且线性代数或...

SVD分解的由来、原理和应用简介

  • 2011年07月05日 20:09
  • 412KB
  • 下载

SVD_奇异值分解详解_中文资料

  • 2014年06月12日 21:05
  • 118KB
  • 下载

强大的矩阵奇异值分解(SVD)及其应用

版权声明:     本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheel...
  • bbbeoy
  • bbbeoy
  • 2017年04月26日 12:51
  • 174
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于SVD的应用详解
举报原因:
原因补充:

(最多只允许输入30个字)