奇异值分解

本分引用了：http://blog.csdn.net/abcjennifer/article/details/8131087

http://blog.csdn.net/google19890102/article/details/27109235

一、什么是酉矩阵？

n阶复方阵U的n个 列向量 是U空间的一个 标准正交基 ，则U是酉 矩阵 (Unitary Matrix)。显然酉矩阵是 正交矩阵 往 复数 域上的推广。

酉矩阵又称为幺正矩阵^[1]   。在2000年之前的很多国内教材（特别是老版本教材）中用“幺正矩阵”名称的比较多。需要注意的是，幺正矩阵和幺模正交矩阵是两个不同的概念。

定义：

若一

行

列的复数矩阵

满足：

其中，

为

的共轭转置，

为

阶单位矩阵，则

称为 酉矩阵。

形式：

酉矩阵的相关性质：

设有矩阵

，则

（1）若

是酉矩阵，则

的 逆矩阵 也是酉矩阵；

（2）若

是酉矩阵，则

也是酉矩阵；

（3）若

是酉矩阵，则

；

（4）

是酉矩阵的 充分必要条件 是，它的

个 列向量 是两两 正交 的单位向量。

酉方阵在量子力学中有着重要的应用。酉等价是 标准正交基 到标准正交基的特殊 基变换 。

二、奇异值分解直观理解

在文本分类中，另一种办法是利用矩阵运算中的奇异值分解（Singular Value Decomposition，简称 SVD)。现在让我们来看看奇异值分解是怎么回事。首先，我们可以用一个大矩阵A来描述这一百万篇文章和五十万词的关联性。这个矩阵中，每一行对应一篇文章，每一列对应一个词。

在上面的图中，M=1,000,000，N=500,000。第 i 行，第 j 列的元素，是字典中第 j 个词在第 i 篇文章中出现的加权词频（比如，TF/IDF)。读者可能已经注意到了，这个矩阵非常大，有一百万乘以五十万，即五千亿个元素。


奇异值分解就是把上面这样一个大矩阵，分解成三个小矩阵相乘，如下图所示。比如把上面的例子中的矩阵分解成一个一百万乘以一百的矩阵X，一个一百乘以一百的矩阵B，和一个一百乘以五十万的矩阵Y。这三个矩阵的元素总数加起来也不过1.5亿，仅仅是原来的三千分之一。相应的存储量和计算量都会小三个数量级以上。

三个矩阵有非常清楚的物理含义。第一个矩阵X中的每一列表示一类主题，其中的每个非零元素表示一个主题与一篇文章的相关性，数值越大越相关。最后一个矩阵Y中的每一列表示100个关键词，每个key word与500，000个词的相关性。中间的矩阵则表示文章主题和keyword之间的相关性。因此，我们只要对关联矩阵A进行一次奇异值分解，w 我们就可以同时完成了近义词分类和文章的分类。（同时得到每类文章和每类词的相关性）。

比如降至2维（rank=2），则document-term的关系可以在下面二维图中展现：

 

在图上，每一个红色的点，都表示一个词，每一个蓝色的点，都表示一篇文档，这样我们可以对这些词和文档进行聚类，比如说stock 和 market可以放在一类，因为他们老是出现在一起，real和estate可以放在一类，dads，guide这种词就看起来有点孤立了，我们就不对他们进行合并了。按这样聚类出现的效果，可以提取文档集合中的近义词，这样当用户检索文档的时候，是用语义级别（近义词集合）去检索了，而不是之前的词的级别。这样一减少我们的检索、存储量，因为这样压缩的文档集合和PCA是异曲同工的，二可以提高我们的用户体验，用户输入一个词，我们可以在这个词的近义词的集合中去找，这是传统的索引无法做到的。

现在剩下的唯一问题，就是如何用计算机进行奇异值分解。这时，线性代数中的许多概念，比如矩阵的特征值等等，以及数值分析的各种算法就统统用上了。在很长时间内，奇异值分解都无法并行处理。（虽然 Google 早就有了MapReduce 等并行计算的工具，但是由于奇异值分解很难拆成不相关子运算，即使在 Google 内部以前也无法利用并行计算的优势来分解矩阵。）最近，Google 中国的张智威博士和几个中国的工程师及实习生已经实现了奇异值分解的并行算法，我认为这是 Google 中国对世界的一个贡献。

三、SVD奇异值分解的定义

    假设是一个的矩阵，如果存在一个分解：

其中为的酉矩阵，为的半正定对角矩阵，为的共轭转置矩阵，且为的酉矩阵。这样的分解称为的奇异值分解，对角线上的元素称为奇异值，称为左奇异矩阵，称为右奇异矩阵。

四、SVD奇异值分解与特征值分解的关系

    特征值分解与SVD奇异值分解的目的都是提取一个矩阵最重要的特征。然而，特征值分解只适用于方阵，而SVD奇异值分解适用于任意的矩阵，不一定是方阵。

 

这里，和是方阵，和为单位矩阵，为的特征向量，为的特征向量。和的特征值为的奇异值的平方。

五、SVD奇异值分解的作用和意义

    奇异值分解最大的作用就是数据的降维，当然，还有其他很多的作用，这里主要讨论数据的降维，对于的矩阵，进行奇异值分解

取其前个非零奇异值，可以还原原来的矩阵，即前个非零奇异值对应的奇异向量代表了矩阵的主要特征。可以表示为