Supervised Learning Neighbor Embedding

 

目录

- 1. Locally Linear Embedding (LLE) - 2. Laplacian Eigenmaps - Graph-based - 3. T-distributed Stochastic Neighbor Embedding (t-SNE)     - 3.1 基本方法     - 3.2 相似度策略 概述

非线性降维，解决PCA中提到的线性变化方法的缺点。如何能处理下列这种类型的降维？

这些方法的思想是，降维之后，保持点和点之间的关系。

• LLE，每个点找k个邻居，找出关系w，降维保持w
• Laplacian Eigenmaps - Graph-based 方法，连线求相似度，保持相似度，跟上面的区别在于图方法，只对相连的点进行求取。
• t-SNE，考虑相似度分布，全局保证相似度

 

1. Locally Linear Embedding (LLE)

基本思想是，降维之后，保持点和周围邻居的关系，而在这个方法里，邻居指局部的邻居。

它假设，每个点x^i由周围的点经过线性组合而成，于是可以处理所有的点，每个点找到它们的邻居，找到一组w，最小化线性组合的整体误差。

然后对x降维到z，找到一组z，可以保持w的关系。

2. Laplacian Eigenmaps - Graph-based

拉普拉斯特征映射，是一种基于图的方法，可以参考Semi-supervised learning。

它将点就近连接，然后使用Gaussian Radial Basis Function定义点和点之间的相似度，然后再x经过降维到z之后，找到一组z能保持这种相似度。

但实际上这在semi-supervised 中没有问题，但在unsupervised中会出现问题——当所有z=0的时候，s最小，这显然是错误的。

于是它还必须有一个限制，当降维为M，必须保证z各个维度张成M维空间，即z的rank必须为M。

ref : Belkin, M., Niyogi, P. Laplacian eigenmaps and spectral techniques for embedding and clustering. Advances in neural information processing systems . 2002

3. T-distributed Stochastic Neighbor Embedding (t-SNE)

这是非线性降维的最好的方法之一。上面的方法都有一个缺陷，它们都只考虑了降维过程，保持点和点之间的相似，而没考虑保留“不相似”的部分。t-SNE从保留分布信息方面解决这个问题。

3.1 基本方法

它首先要求所有点两两之间的相似度，然后对每个点的相似度进行归一化，注意每个点归一化的分母都是不一样的。所以这个方法相当耗时，一般都是先用PCA降维，再用t-SNE进一步降维。

然后我们就得到所有点的相似度分布。于是，我们使用相对熵保持降维前后的相似度分布。

3.2 相似度策略

单纯使用GRBF相似度的方法是SNE，t-SNE的神奇之处是，它在降维前后分别使用两种不同的相似度计算方法。第二个公式是降维后使用的相似度的一种。

为什么呢？下面从非常直观的角度理解这个trick，

图中，红色是降维前，蓝色是降维后，x轴是数据的“距离”，y是相似度，可以发现保持相似度，高相似度的距离变化不大，低相似度的距离会被拉得更开，这就使得降维后的聚类更加好，区分更开。下图是在高维数据集上的实验结果，可以说非常优秀了。

Belkin, M., Niyogi, P. Laplacian eigenmaps and spectral techniques for embedding and clustering. Advances in neural information processing systems . 2002