机器学习中特征选择和特征提取区别

之前一直没有搞清楚特征选择和特征提取的区别，真是一头雾水，晕头转向，今天终于豁然开朗。

1.特征提取 V.S 特征选择

特征提取和特征选择是DimensionalityReduction（降维）的两种方法，针对于the curse of dimensionality(维灾难)，都可以达到降维的目的。但是这两个有所不同。

特征提取（Feature Extraction）:Creatting a subset of new features by combinations of the exsiting features.也就是说，特征抽取后的新特征是原来特征的一个映射。

特征选择（Feature Selection）:choosing a subset of all the features(the ones more informative)。也就是说，特征选择后的特征是原来特征的一个子集。

2. PCA V.S LDA

主成分分析(Principle Components Analysis ,PCA)和线性评判分析（Linear Discriminant Analysis,LDA）是特征提取的两种主要经典方法。

对于特征提取，有两种类别：

（1）Signal representation(信号表示): The goal of the feature extraction mapping is