《特征工程三部曲》之三 维度压缩

1  PCA： 更够保持对方差贡献最大的特征。

通过协方差矩阵的特征值分解能给得到数据的主成分，以二维特征为例，两个特征之间可能存在线性关系（例如运动的时速和秒速度），这样就造成了第二维信息是冗余的。PCA的目标是发现这种特征之间的线性关系，并去除。因此PCA本质是一种去相关算法。

协方差：度量两个变量的变动的同步程度，也就是度量两个变量的线性相关性，协方差为0代表线性无关。方差是协方差中两个变量相同的时候。

1  最近重构性： 样本到这个超平面的距离都足够近

2  最大可分性： 样本点到这个超平面的投影都能尽可能的分开

2 SVD(奇异值分解）

矩阵分解方法：

左奇异向量用于压缩行，右奇异向量压缩列，压缩方法均是取奇异值较大的左奇异向量和右奇异向量与原数据C相乘。

PCA 是从特征方向去降维，SVD是从特征和实例两个方向降维。

3  LDA 算法 ：线性判别式，考虑label，降维后的数据点经可能容易地被区分。

基于线性模型进行特征属性合并的操作，有监督的降维，在sklearn 中的本质是SVD分解的左奇异矩阵乘以原来的矩阵，达到降维实例的目的。

总结： PCA 映射是将一种高维数据合并到低维的过程，样本更具有更大的发散性，LDA考虑了样本的标注，使得不同类别之间的距离最大，可以用于降维和分类。

一般情况下，有类别信息的，可以采用LDA

没有类别信息的，可以用PCA。