常见特征选择方法简要笔记

子集搜索，一般采用贪心算法：前向搜索，后向搜索，双向搜索

子集评价，一般采用信息增益方法

特征选择常用算法一般过程：

1、生成子集：搜素特征子集，为评价函数提供特征子集

2、评价函数：评价特征的好坏

3、停止准则：与评价函数相关，一般是阈值。评价函数达到一定标准后就可停止搜索

4、验证过程：在验证数据集上验证选出来的特征子集的有效性。

 

常见的特征选择方法：

1、过滤式：过滤式方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。

2、包裹式特征选择直接把最终要使用的学习器的性能作为特征子集的评价准则。

        从最终学习器的性能来看，包裹式特征选择比过滤式要好，但由于在特征选择过程中需多次训练学习器，因此包裹式特征选择的计算开销通常比过滤式特征选择大的多。

3、嵌入式特征选择是将特征选择过程与学习器训练过程融合为一体，两者在同一个优化过程中完成，即在学习器训练过程中自动的进行了特征选择。

 

基于L1正则化的学习方法就是一种嵌入式特征选择方法，其特征选择过程与学习器训练过程融为一体，同时完成。

 

完全搜索：广度优先搜索；分支界限搜索；定向搜索；最优优化搜索

随机搜索：随机产生序列选择算法；模拟退火法；遗传算法

启发式搜索：序列前向选择；序列后向选择；双向搜索；增L去R选择；浮动序列选择（序列浮动前向选择，序列浮动候选选择）；决策树