机器学习降维算法六——ISOMAP(等距特征映射)

流形学习:传统的机器学习方法中，数据点和数据点之间的距离和映射函数都是定义在欧式空间中的，然而在实际情况中，这些数据点可能不是分布在欧式空间中的，因此传统欧式空间的度量难以用于真实世界的非线性数据，从而需要对数据的分布引入新的假设。流形学习假设所处理的数据点分布在嵌入于外维欧式空间的一个潜在的流形体上，或者说这些数据点可以构成这样一个潜在的流形体。

图1 一个嵌在三维空间的流行体

图1就是一个数据嵌入在流行体的例子，传统的例如PCA和MDS降维方法效果就不是十分理想。此流行体实际上是一个二维分布的平面，在三维空间中流行体上点与点之间的距离不能使用传统的欧式空间的距离来计算，而应该用测地线距离代表这两个点的实际距离。

图2 测地线和欧式距离

图2中蓝色虚线为两个点的欧式距离，蓝色实线为两个点的测地线距离。但是测地线距离也不好测量，因此我们采用另一种路径近似代表测地线距离。

图3 图中两点的最短路径

我们构建一个连通图，其中每个点只和距离这个点最近的k个点直接连接，和其他的点不直接连接。这样我们可以构建邻接矩阵，进而求出图中任意两个点的最短路径，代替测地线距离。