无监督学习-近邻嵌入(unsupervised learning-Neighbor Embedding)

#非监督学习
非线性降维方法，根据一个点与其临近点关系进行降维操作，neighbor embedding，又称之为manifold learning，流形学习。
降维凭借的是data point 和data point之间的关系，在降维前的空间中每一个点和它的邻居之间的关系来做降维。

LLE
除了PCA，线性降维方法还有LLE，Xi有一些它的邻居xj,最小化下图的函数，然后找出wij，降维后它们的关系wij是不变的，寻找的新的zi，zj使得下述函数最小，



Laplacian Eigenmaps
利用图的方法来做降维
在unsupervised learning中我们的loss function和在semi-supervised learning中略有不同，我们希望最小化下面的S。但这有一个问题，zi和zj都为0是，S最小，但这明显是不行的，所以我们要增加一些限制。倘若Z的维度为M,所有z做span以后可以填满整个M维空间，这就是限制。


t-SNE t-分布领域嵌入算法
之前的方法说如果原来的向量相近，则降维后相近，但可能原来很远的向量维后变得相近。所以提出了t-SNE。
t-SNE使得高维相近的低维相近，高维远离的低维远离，用的gradient descent处理 L。