降维方法

降维方法

1：Multidimensional Scaling(MDS)

MDS是一种降维或者可视化算法，通过使得降维之后的数据能够保留原始数据之间的相似度（或者不相似度，距离）等等，来将数据映射到低维空间。

假设原始数据的距离矩阵D已知，比如说下面的形式：

我们使用stress来衡量映射的好坏：

上面的这些符号来自于https://www.ncss.com/wp-content/themes/ncss/pdf/Procedures/NCSS/Multidimensional_Scaling.pdf。 

kruskal在1964年的文章里面，使用如下的基准衡量降维之后效果的好坏：

传统MDS的算法流程如下： 

 

上面对MDS进行了大概的说明，下面根据知乎的一篇文章https://zhuanlan.zhihu.com/p/50715681对数学形式进行一些说明：

首先，假设我们存在一个距离矩阵，记录着任意两个点的欧氏距离，我们希望降维之后的数据分布能够保留这种相对的关系。 欧氏距离的公式如下：

因为数据之间的内积比较好计算，因此我们希望将任意两个点之间的距离表示成内积的形式：

上式假设数据的均值为0（和PCA一样，只要做数据预处理就行，减去均值），因此内积可以表示为：

 这里B代表的就是数据内积，我们希望找到一组新的特征X，使得它们的内积能够尽可能的接近B：

上式的解法就是对B进行特征值分解，选前k个特征向量，到这里，上面的推导和最开始的算法是吻合的。 当D时根据欧氏距离计算的，MDS的效果和PCA一致。在sklearn上，对手写体数字进行降维显示的结果为：

2：PCA

关于PCA的文章有很多，比如说这篇https://blog.csdn.net/zhongkejingwang/article/details/42264479，PCA和MDS都是线性的降维方法，MDS的目标是使得降维之后的数据能够保持原来的距离，而PCA的降维目标是使得降维之后的数据方差最大，根据bishop-PRML，PCA可以根据两种方式推导出（推导出求协方差矩阵，然后求特征值），一种是最大化方差，一种是最小化降维误差，我这里主要对第一种进行介绍，因为第一种也最符合PCA一直以来的特点。

首先考虑降到一维，那么降维之后数据方差为，其中u代表D维的向量，可以将D维数据映射到一个值：

 根据上面的uSu的目标函数，最大化该目标函数的话，存在一种特殊情况就是，因此我们需要限制u的大小。可以假设u是正交向量，满足，因此使用拉格朗日乘子法，优化目标可以变为：

根据拉格朗日解法，对u求偏导等于0，可以得到：

可知λ是S的特征值，u是对应的特征向量，，上式可以写成如下形式：

可以进一步写成： ，因此根据Rayleigh Ratio（瑞丽比）的兴致我们知道，当分别是S的最大的特征值和特征向量的时候，上式最大。在sklearn上，对手写体数字进行降维显示的结果为：

3：LLE

LLE全称Locally Linear Embedding，是构造来对流形数据进行降维的方法，流形分布大致如下：

流形(manifold)的概念就是局部满足欧几里得特征，但是全局不满足的分布，比如说地球。其中针对B图这样的数据，我们希望降维之后的数据能够保持流形的相关性，比如说下面的A,B,C三点，希望降维之后，A与B之间的距离比A与C小。

LLE的出发点也很简单，就是既然局部是一个平面，那么一个点就可以根据其邻居线性求和得到。

 其中WX代表的就是邻居节点的线性求和，需要注意的一点是，这个邻居是根据KNN定义的，也就是说如果不是邻居的话，那么W对应的一项就是零。我们希望降维之后的结果依旧满足这个W所包含的邻接信息，因此：

具体的算法就是：

在sklearn上，对手写体数字进行降维显示的结果为： 

4：isoMap

MDS和PCA都是线性的降维方法，但是都很容易计算（使用特征值分解可以得到，并且是全局最优的），但是无法对流形数据很好的降维（非线性），因此isoMap是一种结合了MDS以及非线性的方法。算法如下：

首先根据数据构建一个图，然后更新得到最短距离，然后使用MDS对上述的最短距离矩阵进行分解， 在sklearn上，对手写体数字进行降维显示的结果为： 

可以看到isoMap应该是比LLE的效果好，各个类分的更开。

5：t-SNE

具体请查看t-SNE