降维与流形学习几种方法

PCA

无监督的学习方法，选取前K个最大的特征向量作为投影矩阵，证明事从方差最大和平方误差最小的角度来证明，选取前k个最大的特征值是有效的降维方法，线性的。

motivation:前k个最大的特征值才是主要的，小的特征值是噪声。

LDA

有监督的降维学习方法，和PCA类似.

motivation: 从类内距离最小，类间距离最大的这个角度来构造目标函数。

MDS

一种j降维的方法，是和PCA对偶的。

motivation:保证降维之后点对之间的欧式距离不变。

ISOMAP

motivation: 认为从高维的距离直接等于低维平面上的距离是不对的，所以做法是在两点之间找一个最短距离。

LLE

motivation:认为从高维到低维应该保持高维邻域之间的线性关系。

LE（拉普拉斯特征映射）

Motivation:在高维空间中离得很近的点投影到低维空间中的象也应该离得很近。两点间的加权距离作为损失函数