流形学习
流形学习是一类借鉴了拓扑流形概念的降维方法。“流形”是在局部与欧式空间同胚的空间,换言之,它在局部具有欧式空间的性质,能用欧式距离来进行距离计算。这给降维方法带来了很大的启发:若低维流形嵌入到高维空间中,则数据样本在高维空间的分布虽然看上去复杂,但在局部上仍具有欧式空间的性质,因此,可以容易地在局部建立降维映射关系,然后再设法将局部映射关系推广到全局。当维数降至二维或三维时,能对数据进行可视化展式,因此流形学习也可被用于可视化。
1、等度量映射
等度量映射(简称Isomap)的基本出发点,是认为低维流形嵌入到高维空间后,直接在高维空间中计算直线距离具有误导性,因为高维空间中的直线距离在低维嵌入流形上是不可达的。
如上图所示,低维嵌入流形上两点间的距离是“测地线”距离:想象一只虫子从一点爬到另一点,如果它不能脱离曲面行走,那么(a)中的红色曲线是距离最短的路径,即S曲面上的测地线,测地线距离是两点之间的本真距离。显然,直接在高维空间中计算直线距离是不恰当的。
那么,如何计算测地线距离呢?
我们可利用流形在局部上与欧式空间同胚这个性质,对每个点基于欧式距离找出其近邻点,然后就能建立一个近邻连接图,图中近邻点之间存在连接,而非近邻点之间不存在连接,于是,计算两点之间测地线距离的问题,就转变为计算近邻连接图上两点之间的最短路径问题。如图(b)所示。
2、局部线性嵌入
与Isomap试图保持近邻样本之间的距离不同,局部线性嵌入(简称LLE)试图保持邻域内样本之间的线性关系。
即LLE希望式的关系在低维空间中得以保持。
度量学习
度量学习的基本动机是:每个低维空间对应了再样本属性上定义的一个距离度量,而寻找合适的空间,实质上就是在寻找一个合适的距离度量,而度量学习就是通过“学习”出一个合适的距离度量。