流形学习——《机器学习》笔记

流形学习的基本思想是将高维特征空间中的样本分布群“平铺”至一个低维空间，同时能保存原高维空间中样本点之间的局部位置相关信息。原空间中的样本分布可能及其扭曲，平铺之后将更有利于样本之间的距离度量，其距离将能更好地反映两个样本之间的相似性。原空间中相邻比较近的点可能不是同一类点，而相邻较远的点还有可能是同一类，“平铺”至低维空间后就能解决这一问题。

等度量映射：

遍历每一个样本点，计算与k个最临近点的距离，无视其他点的距离。
使用最短路径法（Dijkstra法或Floyd法）计算两点之间的距离dist(x1,x2)，得到的距离即为低维空间中的两点距离。
对待新的带预测样本：根据高维空间的坐标作为输入、低维空间的坐标作为输出，训练一个回归学习器，来将新的样本点的坐标转换至低维空间中（该方法仅是权宜之计）。

局部线性嵌入

基本思想是在低维空间中保留领域内样本点的线性关系，即高维空间中有x=w1*x1+w2*x2+w3*x3，在低维空间中也相应的有x=w1*x1+w2*x2+w3*x3。
（其局部线性关系是一样的，保持了下来）
向量W通过最小二乘法来求：

低维空间中的新坐标也通过最小二乘法来还原，不过寻优参变量又w变成了坐标x

度量学习

其本质为学习出一种新的距离计算方法。
距离计算式为(xi-xj)’M(xi-xj)，其中M为正定阵，如果M为单位对角阵，则该距离计算式为欧氏距离。
算法的本质是对M的寻优。

参考资料：
周志华《机器学习》