周志华 机器学习 Day18

流形学习

流形学习是一类借鉴了拓扑流形概念的降维方法。“流形”是在局部与欧式空间同胚的空间，换言之，它在局部具有欧式空间的性质，能用欧式距离来进行距离计算。这给降维方法带来了很大的启发：若低维流形嵌入到高维空间中，则数据样本在高维空间的分布虽然看上去复杂，但在局部上仍具有欧式空间的性质，因此，可以容易地在局部建立降维映射关系，然后再设法将局部映射关系推广到全局。当维数降至二维或三维时，能对数据进行可视化展式，因此流形学习也可被用于可视化。

1、等度量映射

等度量映射（简称Isomap）的基本出发点，是认为低维流形嵌入到高维空间后，直接在高维空间中计算直线距离具有误导性，因为高维空间中的直线距离在低维嵌入流形上是不可达的。

如上图所示，低维嵌入流形上两点间的距离是“测地线”距离：想象一只虫子从一点爬到另一点，如果它不能脱离曲面行走，那么（a）中的红色曲线是距离最短的路径，即S曲面上的测地线，测地线距离是两点之间的本真距离。显然，直接在高维空间中计算直线距离是不恰当的。

那么，如何计算测地线距离呢?

我们可利用流形在局部上与欧式空间同胚这个性质，对每个点基于欧式距离找出其近邻点，然后就能建立一个近邻连接图，图中近邻点之间存在连接，而非近邻点之间不存在连接，于是，计算两点之间测地线距离的问题，就转变为计算近邻连接图上两点之间的最短路径问题。如图（b）所示。

2、局部线性嵌入

与Isomap试图保持近邻样本之间的距离不同，局部线性嵌入（简称LLE）试图保持邻域内样本之间的线性关系。

即LLE希望式的关系在低维空间中得以保持。

 

度量学习

度量学习的基本动机是：每个低维空间对应了再样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一个合适的距离度量，而度量学习就是通过“学习”出一个合适的距离度量。