特征选择与特征抽取的区别

机器学习领域的一个普遍问题是如何降低数据的维度，因为过高的维度会严重影响计算效率并造成数据稀疏。降维方法一般分为两类：特征选择 （Feature Selection）和特征抽取 （Feature Extraction）。

• 特征选择

特征选择的目标是从原始的d个特征中选择k个特征。

• 特征抽取

特征抽取的目标是根据原始的d个特征的组合形成k个新的特征，即将数据从d维空间映射到k维空间。

无论是特征选择还是特征抽取，它们共同的特征都是尽可能保持原始数据中包含的信息。

• 什么是保持原始数据中包含的信息？

以主成分分析为例（Principal Components Analysis, PCA）为例。PCA是一种特征抽取方法。PCA定义数据的信息为原始数据中样本之间的方差。因此PCA在进行空间转换时（从d维空间映射到k维空间），将选择在新的k维空间中样本方差最大的空间。