特征工程之特征提取与特征选择 区别

特征提取（Feature Eatraction）是在特征选择之前的，它是从原始数据中提取新特征的过程，这个提取过程通常是使用一定的算法（函数映射）来自动执行，将多维的或相关的原始特征通过数据转化或映射得到一个新的特征空间，尽管新的特征空间是在原有特征基础上得到的，但是凭借直接观察可能看不出新数据集与原始数据集之间的关联，它是对原始特征的一种降维映射操作。

例如，有n个原始特征$x_1,x_2,\cdots ,x_n$，现通过数据映射进行特征提取得到m个新的特征，表示为$y_1,y_2,\cdots ,y_m$（m<n），其中，$y_i=f_i(x_1,x_2,\cdots ,x_n)$,i∈[1,m]，f 为对应的映射函数，最终将新得到的m个特征替代原始特征进行后续操作。

常见的特征提取技术包括主成分分析（PCA）、线性判别分析（LDA）等。

事实上，特征提取与特征选择都是数据降维的技术，不过二者有着本质上的区别，特征选择后特征并没有发生变化，只是总的数量减少了；而特征提取后特征会发生变化，并且总的数量也减少了。