Unsupervised Learning：Neighbor Embedding

Unsupervised Learning：Neighbor Embedding

（非线性降维）

Manifold Learning

将高维空间的 Manifold 映射到低维空间“摊平”，这样就可以计算他的直线距离，以便于聚类和监督学习

Locally Linear Embedding (LLE)

也就是说，我们先在高维空间中通过minimize 找到Xi和Xj的关系Wij，然后在低维空间中通过 minimize 

求出Zi。

注意的是要选择合适的相邻点的数目：

Laplacian Eigenmaps

z的解就是L的（特征值比较小的）特征向量

                                       

                                      

T-distributed Stochastic Neighbor Embedding (t-SNE)

Problem of the previous approaches：

      • Similar data are close, but different data may collapse

假设还是x降维到z

t-SNE会计算所有datapoint的 similarity ，所以所以计算量会很大。一般会用其他方法（如PCA）先降维，再用t-SNE。

对于新加入的x，t-SNE会重新跑一遍，所以t-SNE不适合用在training testing的base上，一般用来做visualization.

 

t-SNE –Similarity Measure

 

from：https://www.youtube.com/watch?v=GBUEjkpoxXc&list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&index=24