奇异值分解(SVD)原理与在降维中的应用

奇异值分解(SVD)原理与在降维中的应用

转载自http://www.cnblogs.com/pinard　　　　

奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结，并讨论在在PCA降维算法中是如何运用运用SVD的。

1. 回顾特征值和特征向量

　　　　我们首先回顾下特征值和特征向量的定义如下：

Ax=λxAx=λx

　　　　其中A是一个n×nn×n的实对称矩阵，xx是一个nn维向量，则我们说λλ是矩阵A的一个特征值，而xx是矩阵A的特征值λλ所对应的特征向量。

　　　　求出特征值和特征向量有什么好处呢？ 就是我们可以将矩阵A特征分解。如果我们求出了矩阵A的nn个特征值λ1≤λ2≤...≤λnλ1≤λ2≤...≤λn,以及这nn个特征值所对应的特征向量{w1,w2,...wn}{w1,w2,...wn}，，如果这nn个特征向量线性无关，那么矩阵A就可以用下式的特征分解表示：

A=WΣW−1A=WΣW−1

　　　　其中W是这nn个特征向量所张成的n×nn×n维矩阵，而ΣΣ为这n个特征值为主对角线的n×nn×n维矩阵。

　　　　一般我们会把W的这nn个特征向量标准化，即满足||wi||2=1||wi||2=1, 或者说wTiwi=1wiTwi=1，此时W的nn个特征向量为标准正交基，满足WTW=IWTW=I，即WT=W−1WT=W−1, 也就是说W为酉矩阵。

　　　　这样我们的特征分解表达式可以写成

A=WΣWTA=WΣWT

　　　　注意到要进行特征分解，矩阵A必须为方阵。那么如果A不是方阵，即行和列不相同时，我们还可以对矩阵进行分解吗？答案是可以，此时我们的SVD登场了。

2.  SVD的定义

　　　　SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×nm×n的矩阵，那么我们定义矩阵A的SVD为：

A=UΣVTA=UΣVT

　　　　其中U是一个m×mm×m的矩阵，ΣΣ是一个m×nm×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×nn×n的矩阵。U和V都是酉矩阵，即满足UTU=I,VTV=IUTU=I,VTV=I。下图可以很形象的看出上面SVD的定义：

　　　　那么我们如何求出SVD分解后的U,Σ,VU,Σ,V这三个矩阵呢？

　　　　如果我们将A的转置和A做矩阵乘法，那么会得到n×nn×n的一个方阵ATAATA。既然ATAATA是方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式：

(ATA)vi=λivi(ATA)vi=λivi

　　　　这样我们就可以得到矩阵ATAATA的n个特征值和对应的n个特征向量vv了。将ATAATA的所有特征向量张成一个n×nn×n的矩阵V，就是我们SVD公式里面的V矩阵了。一般我们将V中的每个特征向量叫做A的右奇异向量。

　　　　如果我们将A和A的转置做矩阵乘法，那么会得到m×mm×m的一个方阵AATAAT。既然AATAAT是方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式：

(AAT)ui=λiui(AAT)ui=λiui

　　　　这样我们就可以得到矩阵AATAAT的m个特征值和对应的m个特征向量uu了。将AATAAT的所有特征向量张成一个m×mm×m的矩阵U，就是我们SVD公式里面的U矩阵了。一般我们将U中的每个特征向量叫做A的左奇异向量。

　　　　U和V我们都求出来了，现在就剩下奇异值矩阵ΣΣ没有求出了。由于ΣΣ除了对角线上是奇异值其他位置都是0，那我们只需要求出每个奇异值σσ就可以了。

　　　　我们注意到:

A=UΣVT⇒AV=UΣVTV⇒AV=UΣ⇒Avi=σiui⇒σi=Avi/uiA=UΣVT⇒AV=UΣVTV⇒AV=UΣ⇒Avi=σiui⇒σi=Avi/ui

 　　　 这样我们可以求出我们的每个奇异值，进而求出奇异值矩阵ΣΣ。

　　　 上面还有一个问题没有讲，就是我们说ATAATA的特征向量组成的就是我们SVD中的V矩阵，而AATAAT的特征向量组成的就是我们SVD中的U矩阵，这有什么根据吗？这个其实很容易证明，我们以V矩阵的证明为例。

A=UΣVT⇒AT=VΣTUT⇒ATA=VΣTUTUΣVT=VΣ2VTA=UΣVT⇒AT=VΣTUT⇒ATA=VΣTUTUΣVT=VΣ2VT

　　　　上式证明使用了:UTU=I,ΣTΣ=Σ2。UTU=I,ΣTΣ=Σ2。可以看出ATAATA的特征向量组成的的确就是我们SVD中的V矩阵。类似的方法可以得到AATAAT的特征向量组成的就是我们SVD中的U矩阵。

　　　　进一步我们还可以看出我们的特征值矩阵等于奇异值矩阵的平方，也就是说特征值和奇异值满足如下关系：

σi=λi‾‾√σi=λi

　　　　这样也就是说，我们可以不用σi=Avi/uiσi=Avi/ui来计算奇异值，也可以通过求出ATAATA的特征值取平方根来求奇异值。

3. SVD计算举例

　　　　这里我们用一个简单的例子来说明矩阵是如何进行奇异值分解的。我们的矩阵A定义为：

 

A=⎛⎝⎜⎜011110⎞⎠⎟⎟A=(011110)

　　　　我们首先求出ATAATA和AATAAT

 

ATA=(011110)⎛⎝⎜⎜011110⎞⎠⎟⎟=(2112)ATA=(011110)(011110)=(2112)

 

AAT=⎛⎝⎜⎜011110⎞⎠⎟⎟(011110)=⎛⎝⎜⎜110121011⎞⎠⎟⎟AAT=(011110)(011110)=(110121011)

 　　　　进而求出ATAATA的特征值和特征向量：

λ1=3;v1=(1/2‾√1/2‾√);λ2=1;v2=(−1/2‾√1/2‾√)λ1=3;v1=(1/21/2);λ2=1;v2=(−1/21/2)

　　　　接着求AATAAT的特征值和特征向量：

 

λ1=3;u1=⎛⎝⎜⎜1/6‾√2/6‾√1/6‾√⎞⎠⎟⎟;λ2=1;u2=⎛⎝⎜⎜1/2‾√0−1/2‾√⎞⎠⎟⎟;λ3=0;u3=⎛⎝⎜⎜1/3‾√−1/3‾√1/3‾√⎞⎠⎟⎟λ1=3;u1=(1/62/61/6);λ2=1;u2=(1/20−1/2);λ3=0;u3=(1/3−1/31/3)

　

　　　　利用Avi=σiui,i=1,2Avi=σiui,i=1,2求奇异值：

 

⎛⎝⎜⎜011110⎞⎠⎟⎟(1/2‾√1/2‾√)=σ1⎛⎝⎜⎜1/6‾√2/6‾√1/6‾√⎞⎠⎟⎟⇒σ1=3‾√(011110)(1/21/2)=σ1(1/62/61/6)⇒σ1=3

 

⎛⎝⎜⎜011110⎞⎠⎟⎟(−1/2‾√1/2‾√)=σ2⎛⎝⎜⎜1/2‾√0−1/2‾√⎞⎠⎟⎟⇒σ2=1(011110)(−1/21/2)=σ2(1/20−1/2)⇒σ2=1

当然，我们也可以用σi=λi‾‾√σi=λi直接求出奇异值为3‾√3和1.

 最终得到A的奇异值分解为：

A=UΣVT=⎛⎝⎜⎜⎜1/6‾√2/6‾√1/6‾√1/2‾√0−1/2‾√1/3‾√−1/3‾√1/3‾√⎞⎠⎟⎟⎟⎛⎝⎜⎜3‾√00010⎞⎠⎟⎟(1/2‾√−1/2‾√1/2‾√1/2‾√)A=UΣVT=(1/61/21/32/60−1/31/6−1/21/3)(300100)(1/21/2−1/21/2)

　　　　　　

4. SVD的一些性质　

　　　　上面几节我们对SVD的定义和计算做了详细的描述，似乎看不出我们费这么大的力气做SVD有什么好处。那么SVD有什么重要的性质值得我们注意呢？

　　　　对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。也就是说：

Am×n=Um×mΣm×nVTn×n≈Um×kΣk×kVTk×nAm×n=Um×mΣm×nVn×nT≈Um×kΣk×kVk×nT

　　　　其中k要比n小很多，也就是一个大的矩阵A可以用三个小的矩阵Um×k,Σk×k,VTk×nUm×k,Σk×k,Vk×nT来表示。如下图所示，现在我们的矩阵A只需要灰色的部分的三个小矩阵就可以近似描述了。

　　　　由于这个重要的性质，SVD可以用于PCA降维，来做数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。下面我们就对SVD用于PCA降维做一个介绍。

5. SVD用于PCA

　　　　在主成分分析（PCA）原理总结中，我们讲到要用PCA降维，需要找到样本协方差矩阵XTXXTX的最大的d个特征向量，然后用这最大的d个特征向量张成的矩阵来做低维投影降维。可以看出，在这个过程中需要先求出协方差矩阵XTXXTX，当样本数多样本特征数也多的时候，这个计算量是很大的。

　　　　注意到我们的SVD也可以得到协方差矩阵XTXXTX最大的d个特征向量张成的矩阵，但是SVD有个好处，有一些SVD的实现算法可以不求先求出协方差矩阵XTXXTX，也能求出我们的右奇异矩阵VV。也就是说，我们的PCA算法可以不用做特征分解，而是做SVD来完成。这个方法在样本量很大的时候很有效。实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是我们我们认为的暴力特征分解。

　　　　另一方面，注意到PCA仅仅使用了我们SVD的右奇异矩阵，没有使用左奇异矩阵，那么左奇异矩阵有什么用呢？

　　　　假设我们的样本是m×nm×n的矩阵X，如果我们通过SVD找到了矩阵XXTXXT最大的d个特征向量张成的m×dm×d维矩阵U，则我们如果进行如下处理：

X′d×n=UTd×mXm×nXd×n′=Ud×mTXm×n

　　　　可以得到一个d×nd×n的矩阵X‘,这个矩阵和我们原来的m×nm×n维样本矩阵X相比，行数从m减到了d，可见对行数进行了压缩。也就是说，左奇异矩阵可以用于行数的压缩。相对的，右奇异矩阵可以用于列数即特征维度的压缩，也就是我们的PCA降维。　　　　

6. SVD小结　

　　　　SVD作为一个很基本的算法，在很多机器学习算法中都有它的身影，特别是在现在的大数据时代，由于SVD可以实现并行化，因此更是大展身手。SVD的原理不难，只要有基本的线性代数知识就可以理解，实现也很简单因此值得仔细的研究。当然，SVD的缺点是分解出的矩阵解释性往往不强，有点黑盒子的味道，不过这不影响它的使用。

 

（欢迎转载，转载请注明出处。欢迎沟通交流： liujianping-ok@163.com） 

分类: 0081. 机器学习

标签: 维度规约

好文要顶 关注我 收藏该文  

刘建平Pinard
关注 - 15
粉丝 - 3759

+加关注

57

0

« 上一篇：用scikit-learn进行LDA降维
» 下一篇：局部线性嵌入(LLE)原理总结

posted @ 2017-01-05 15:44 刘建平Pinard 阅读(94652) 评论(75) 编辑 收藏

< Prev12

 

评论列表

  

#51楼 2018-09-12 10:32 CV学习者  

@ 刘建平Pinard
楼主你好，我想问一下为什么在行表示样本数时，列表示特征数时，用SVD进行降维的新的低维空间是V而不是U？V是一个n*r的矩阵，而U是一个m*r的矩阵，U的列也减少到r了，并且样本数目没有变化，我感觉U才是新的低维空间？谢谢

支持(0)反对(0)

  

#52楼[楼主] 2018-09-12 15:31 刘建平Pinard  

@ CV学习者
你好，U和V都是投影矩阵。如果U才是投影矩阵，那么数据mxn维度，投影是 m*r维度，那么得到的结果是一个r*n维度的。此时数据的维度n没有变，样本行数从m减小到了r。

支持(0)反对(0)

  

#53楼 2018-09-12 22:28 CV学习者  

@ 刘建平Pinard
U和V都是投影矩阵的话，那意思低维的空间是原始空间乘以这两个矩阵的任何一个都是可以的吗？还是乘以不同的投影矩阵得到不同的低维空间？还是只有V是投影矩阵，低维空间是原始数据乘以V得到的新的空间？？因为我在机器学习实战书上看到代码里把V直接作为低维的空间来看待。谢谢楼主

支持(0)反对(0)

  

#54楼[楼主] 2018-09-13 10:14 刘建平Pinard  

@ CV学习者
你好！
“低维的空间是原始空间乘以这两个矩阵的任何一个都是可以的吗“--->如果你是为了降维度，那么就乘以V这个投影矩阵，如果你是为了压缩样本数，那么就乘以U这个投影矩阵，目的不同，使用的投影矩阵不同。

我们一般的目的是降维，所以就得使用V这个投影矩阵，

支持(1)反对(0)

  

#55楼 2018-09-18 19:39 hui0618  

请问在文章开头特征分解的时候为什么W的列向量是正交的呢?

支持(0)反对(0)

  

#56楼 2018-09-18 19:48 hui0618  

@
谢谢,我已经明白了

支持(0)反对(0)

  

#57楼 2018-10-27 23:02 BeHungry  

建议第4节里面的表达式改为Am×n=Um×mΣm×nVTn×n≈Um×kΣk×k(VT)k×nAm×n=Um×mΣm×nVn×nT≈Um×kΣk×k(VT)k×n,以免引起歧义，另外此处的推导样本是按照行向量表达的，而PCA那篇样本是按照列向量表达的，因此这里求XX的右奇异矩阵，此时求出的V的每列就是新坐标的基坐标向量

支持(0)反对(0)

  

#58楼[楼主] 2018-10-29 15:22 刘建平Pinard  

@ BeHungry
你好，其实从矩阵的乘法定义也比较容易看出表示式里面V的维度应该是n×kn×k，直接(VT)k×n(VT)k×n也怪怪的。所以我暂时不改。

的确，两年前这两篇文章写的时候参考了不同的文章，所以矩阵表达方式是反的，抱歉引起困扰。

支持(0)反对(0)

  

#59楼 2018-11-21 00:09 拉比克  

大神你好，一点小建议，ΣTΣ=Σ2，这个奇异矩阵似乎无法做平方运算，当然对角矩阵乘自身转置后，每个数字都被平方了，不过这样写还是不严谨。

支持(0)反对(0)

  

#60楼[楼主] 2018-11-21 11:29 刘建平Pinard  @ 拉比克
你好，因为ΣΣ是对阵矩阵，所以:

ΣT=ΣΣT=Σ

 

ΣTΣ=ΣΣ=Σ2ΣTΣ=ΣΣ=Σ2

支持(2)反对(0)

  

#61楼 2019-01-03 15:30 BuzzLightYear  

深入浅出，学习到了，感谢楼主分享！

支持(0)反对(0)

  

#62楼 2019-02-07 23:51 水能载舟,亦可赛艇  

循例你好!
第5点,最后一段:"行数从m减到了k"
应该是减到了d吧

支持(0)反对(0)

  

#63楼[楼主] 2019-02-13 12:07 刘建平Pinard  

@ 水能载舟,亦可赛艇
你好，的确应该是d，感谢指出错误，原文已经修改。

支持(0)反对(0)

  

#64楼 2019-02-28 17:31 pighaha  

你好 
第5节
“注意到我们的SVD也可以得到协方差矩阵最大的d个特征向量张成的矩阵，但是SVD有个好处，有一些SVD的实现算法可以不求先求出协方差矩阵”
这里的“有一些SVD”实现算法本文没有说？

支持(0)反对(0)

  

#65楼[楼主] 2019-03-01 09:45 刘建平Pinard  

@ pighaha
你好，这些方法还是蛮多的，主要是使用了一些特殊技巧，在维基百科也有总结：
https://en.wikipedia.org/wiki/Singular_value_decomposition

参见"Calculating the SVD"部分。有所有的算法实现方法，

支持(0)反对(0)

  

#66楼 2019-03-01 10:39 pighaha  

@ 刘建平Pinard
好的 谢谢您！

支持(0)反对(0)

  

#67楼 2019-03-18 10:17 教练我想写程序  

你好,我想请教一个问题,做SVD的话计算开销是多少,如果对一个百万*几百维度的矩阵做SVD,效果好吗?实际中是否可行?

支持(0)反对(0)

  

#68楼[楼主] 2019-03-19 09:53 刘建平Pinard  

@ 教练我想写程序
你好，开销还是很大的，如果用最基本的SVD分解方法，单机分解百万维度的矩阵，会比较慢，有时甚至内存溢出。

不过SVD的优化求解方法，使用了特殊的优化技巧，你说的这个维度，实际中使用算法库是没有问题的。如果单机sklearn的SVD扛不住，还可以使用分布式的spark的SVD算法库。

支持(0)反对(0)

  

#69楼 2019-03-30 21:20 小螃蟹123  

楼主有没有SVD降噪的MATLAB程序？

支持(0)反对(0)

  

#70楼[楼主] 2019-03-31 18:32 刘建平Pinard  

@ 小螃蟹123
你好，没有用过MATLAB，不过我相信网上有类似的程序可以参考，你可以在github上找一找。

支持(0)反对(0)

  

#71楼 2019-04-09 21:12 simonlee-  

请问老师，为什么PCA仅仅使用了svd的右奇异矩阵V呢？降维的计算不是A=UΣV，U和V不是都需要用到吗？可能理解不到位，请您指点

支持(0)反对(0)

  

#72楼[楼主] 2019-04-10 09:39 刘建平Pinard  

@ simonlee-
你好，PCA是要做列压缩，所以只使用V即可。如果你需要做行压缩，才需要使用U矩阵。在实际机器学习算法中，行压缩是比较少见的。

支持(0)反对(0)

  

#73楼 2019-04-14 21:55 lichf23  

@ hui0618
请问为什么会正交啊，不是实对称矩阵的特征向量才会正交吗

支持(0)反对(0)

  

#74楼 2019-04-14 22:28 lichf23  

博主您好，请问在文章开头特征分解的时候为什么W的列向量是正交的呢?教科书上写的是W的列向量是线性无关的，当原矩阵是实对称矩阵时，W的列向量才相互正交，您这样写是不是不严谨

支持(0)反对(0)

  

#75楼[楼主] 2019-04-15 10:23 刘建平Pinard  

@ lichf23
你好，写的的确不是很严谨，感谢指出错误。我修改一下描述。