机器学习 - 降维算法总结

机器学习 - 降维算法总结

上课学了这六种算法，总结一下，加强理解。
目的：将$X:N\times d$ 映射到$Z:N×d'$

• PCA
  找一个线性变换$W，Z=W^TX$使得重构误差最小。

• KPCA
  X非线性的情况下，可以映射到合适的高维特征空间$\phi(X)$之后，再对$\phi(X)$使用PCA方法。但是$\phi(X)$不好找，计算代价大，“对$\phi(X)$使用PCA”的计算过程中可用核函数替代计算。

• MDS
  直接计算$Z$，保持$X$的点间距离在$Z$空间尽可能不变。

• Isomap
  根据X的点间距建立邻接关系图，对于不相连的点对，计算连接其的最短路径，得到所有点对之间的测地距离。对测地距离使用MDS算法。

• LLE
  用$x^{(i)}$的邻居的线性组合表示$x^{(i)}$，求出使所有$x$ 重构误差最小的组合系数$w_{ij}$。在低维空间中，$z^{(i)}$同样用邻居的线性组合表示，组合系数给定为$w_{ij}$。求出使所有$z$ 重构误差最小的$z$ 。

• LE
  根据$X$ 的点间距建立邻接关系图，赋予边权重$w_{ij}$。该权重是两端点相似性的一种度量。权重越大，端点越相似（越近）。在$z$ 空间中保持这种相似关系。目标函数： $$\min_z \sum_{i,j}(z^{(i)}-z^{(j)})^2w_{ij}$$ 其含义为：当$x^{(i)}、x^{(j)}$越相似，$z^{(i)}$与$z^{(j)}$也应该越接近，此时$w_{ij}$会比较大，则给$(z^{(i)}-z^{(j)})^2$更重的惩罚。