降维

降维：通过某种数学变换讲原始高位属性空间转化成变为一个地位低维子空间。

降维的方法主要有：多维缩放、主成分分析、核化线性降维、等度量映射、局部线性嵌入

MDS（多维缩放）：原始空间距离D==低维空间上的距离

D(已知)，设低维空间向量Z ,B=Z*Z

D------算出Tr(B)------计算bii,bjj------计算bij 计算出B-----对B进行特征值分解

PCA(主成分分析）：无监督的线性降维方式

重构性：样本点到超平面的距离足够近。

最小化原样本点与基于投影重构样本点的距离。

对所有样本去中心化x------------计算样本协方差矩阵-------对协方差矩阵做特征分解---------取最大的特征值d个对应的特征向量W---输出投影矩阵XW

核化线性降维：

非线性降维：基于核技巧对线性降维方法进行核化。

lsomap(等度量映射）：

每个点基于欧氏距离找到近邻，建立近邻连接图，近邻之间有连接，非近邻之间无连接。

调用Dijstra或者floyd计算任意两点之间的距离。

调用MDS,上一步计算的距离作为MDS的输入

返回MDS的输出

LLE:保持邻域内样本间的线性关系

LDA:监督降维

给定训练样例，设法将样例投影到一条直线上，使得同类尽可能近，异类尽可能远