谈流形学习

Spivak曾经说过，“邻域如果和整个欧氏空间一样大的，那欧氏空间本身就是流形”。流形学习是是机器学习、模式识别中的一种方法，将流形理解成二维空间的曲线，三维空间的曲面在更高维空间的推广。流形学习是流形并不是一个“形状”，而是一个“空间”，借鉴了拓扑流形概念的降维方法，本质上就是很多欧氏空间粘贴在一起构成的空间，与核PCA的目的一样，在低维空间中尽量保持在高维空间中的结构。在一般的算法中很少会用到微分几何，拓扑等复杂的数学理论。流形学习就像3D的地球仪投影到2D的平面地图上，投影之前，美国离中国的距离远，韩国离中国的距离近，投影之后要保持这种距离关系。
等距映射Isomap（Isometric Feature Mapping）。等距映射源自于大地测量学，是地球上任意两点之间在球面上的最短路径，寻找数据曲面测算距离的方法称，被视为多维缩放或核主成分分析的扩展。等距映射一直寻求一个较低维度的嵌入，它保持所有点之间的测量距离。等距映射可以通过等距映射对象执行。PCA和MDS是相互对偶的两个方法。MDS就是理论上保持欧式距离的一个经典方法，MDS最早主要用于做数据的可视化。由于MDS得到的低维表示中心在原点，所以又被称为保持内积，即用低维空间中的内积近似高维空间中的距离。经典的MDS方法，高维空间中的距离一般用欧式距离。假设数据点与K个最近邻的点可以构成一个子集，这个子集可以用普通的欧式距离来衡量，而这个子集中的点又与其他子集中的点相连，这样两个目标点的距离就可以分解成若干子集的欧式距离叠加来近似得到，最后这些相连的点可以降维到低维空间中展现出来。通过距离矩阵求解优化问题完成数据的降维，降维之后的数据保留了原始数据点之间的距离信息。
拉普拉斯特征映射LE（Laplacian Eigenmaps）。LE是将核函数方法应用