数据降维、特征提取和特征选择的联系和区别

结论：特征提取（feature extraction）和特征选择（feature selection）两者的目标都是使得特征维度减少，但是方法不一样。两者统称为数据降维（Dimension reduction）

• 特征提取（feature extraction）
  是将原始高维特征空间里的点向低维空间映射，新的空间维度低于原始空间，所以维度减少。在这个过程中，特征发生了根本性改变，原来的特征消失了。
  常用方法：递归消除法、信息熵增益法、主成分分析法（PCA）和皮尔逊相关系数法等。

• 特征选择（feature selection）
  特征选择是指从n个特征中选择d（d<n）个出来，而其他的n-d个舍弃。新特征只是原特征的一个子集。没有被舍弃的特征没有发生任何变化。特性选择有很多种方法，但是大多可以分为三类：①过滤：列入一些筛选特征的标准，如相关性/卡方分布。② 包装：包装法将特征选择看作是搜索问题。如回归特征消除。 ③嵌入：嵌入法使用内置了特征选择方法的算法。比如，Lasso和RF都有各自的特征选择方法。