#非监督学习
非线性降维方法,根据一个点与其临近点关系进行降维操作,neighbor embedding,又称之为manifold learning,流形学习。
降维凭借的是data point 和data point之间的关系,在降维前的空间中每一个点和它的邻居之间的关系来做降维。
LLE
除了PCA,线性降维方法还有LLE,Xi有一些它的邻居xj,最小化下图的函数,然后找出wij,降维后它们的关系wij是不变的,寻找的新的zi,zj使得下述函数最小,
Laplacian Eigenmaps
利用图的方法来做降维
在unsupervised learning中我们的loss function和在semi-supervised learning中略有不同,我们希望最小化下面的S。但这有一个问题,zi和zj都为0是,S最小,但这明显是不行的,所以我们要增加一些限制。倘若Z的维度为M,所有z做span以后可以填满整个M维空间,这就是限制。
t-SNE t-分布领域嵌入算法
之前的方法说如果原来的向量相近,则降维后相近,但可能原来很远的向量维后变得相近。所以提出了t-SNE。
t-SNE使得高维相近的低维相近,高维远离的低维远离,用的gradient descent处理 L。
无监督学习-近邻嵌入(unsupervised learning-Neighbor Embedding)
最新推荐文章于 2024-05-31 10:08:49 发布