低秩矩阵完备_1.1 矩阵降维之矩阵分解 PCA与SVD

矩阵降维与矩阵分解是两个不同的概念。矩阵降维指就是把数据从高维空间投影到一个低维空间，这个过程可以通过线性或者非线性的映射来完成。目的是挖掘出高维数据中富含原始信息的低维嵌入表示。降维显然是有代价的，它造成了原始信息的损失。所以降维算法的重点和难点在于如何在对原始数据进行数据降维的过程中还能尽可能地保持高维数据的几何结构信息或本征的有区别性的信息，并在此前提下找到高维数据的最优低维表示。对于传统的降维算法来说，它们通常的考虑角度都是找到最大可能地保持某种信息的投影方向或者低维空间。而矩阵分解是将矩阵拆解为数个矩阵的乘积，并没有改变矩阵的维数，但通过矩阵分解往往可以从复杂的数据中提取出相对重要的特征信息，如在特征向量为基的各个方向上的投影，然后通过保留较大的投影，删除较小的投影，便可实现降维的目的；例如特征分解

，进而可写成秩逼近的形式：

其中

是特征向量，列向量，

为逆矩阵对应的行向量，若是实对称阵

。故可通过删除小特征值对应方向的数据，只保留大特征值方向对应的数据来进行降维和压缩。特征值越大，说明矩阵在对应的特征向量上的方差越大，功率越大，信息量越多。因而矩阵分解是矩阵降维的一种重要方法。比较常用的矩阵分解方法有EVD和SVD，降维思想则有PCA, LDA, NMF, MDS等，下面介绍一下相关的学习笔记。

---

PCA

PCA即主成分分析，即设法将原来n个有一定相关的指标，重新组合成一组新的线性无关的综合指标来代替原来指标。也就是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

理解矩阵乘法
内积与投影

与

的内积等于

在

上的投影长度乘以

的模，若设向量

的模为1，则

与

的内积值等于

向

所在直线投影的矢量长度！即

基向量
要准确描述向量，首先要确定一组基，然后给出在基所在的各个直线上的投影值，就可以了。 例如向量

实际上表示线性组合：

基变换的矩阵表示
如果我们有

个

维向量，想将其变换为由

个

维向量表示的新空间中，那么首先将

个基按行组成矩阵

，然后将向量按列组成矩阵

，那么两矩阵的乘积

就是变换结果，其中

的第