特征选择 Feature Selection

目录

1. 什么是特征选择

2. 为什么要做特征选择

3. 特征选择的作用

4. 特征选择过程

5. 常见的特征提取方法

---

 

---

1. 什么是特征选择

特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection, FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。特征选择又称独立评估法，在进行特征选择时一般都是利用某种评价函数独立地对每个原始特征项进行评分，然后将它们按分值的高低排序，从中选取若干个分值最高的特征项。

特征选择实际包含两个方面：特征提取和特征选择。特征提取是一种将数据从高维空间到低维空间的变换，达到降维的目的；特征选择是指从一组特征中去除冗余或不相关的特征来降维。两者常联合使用。

2. 为什么要做特征选择

在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果：

1）特征个数越多，分析特征、训练模型所需的时间就越长。

2）特征个数越多，容易引起“维度灾难”，模型也会越复杂，其推广能力会下降。

3. 特征选择的作用

特征选择的作用主要是降低计算开销和提高分类性能。特征选择能剔除不相关(irrelevant)或亢余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。即可以减小数据处理量、节省处理时间，减轻数据中噪声的影响，提高信息处理系统的性能。另一方面，选取出真正相关的特征简化了模型，使研究人员易于理解数据产生的过程。

4. 特征选择过程

特征选择的一般过程可用图1表示。特征选择过程一般包括产生过程，评价函数，停止准则，验证过程，这4个部分。

图1. 特征选择的过程 ( M. Dash and H. Liu 1997 )

4.1 产生过程( Generation Procedure )

产生过程是搜索特征子集的过程，负责为评价函数提供特征子集。

产生过程是搜索特征子空间的过程。搜索的算法分为完全搜索(Complete)，启发式搜索(Heuristic)，随机搜索(Random) 3大类，如图2所示。

其中完全搜索方法有：广度优先搜索，DFS，分支限界、定向搜索、最优优先搜索。

启发式搜索：