机器学习——特征选择常用算法总结

机器学习——特征选择常用算法

特征选择

指从巨大的特征集中选取出对模型有利的特征子集，减小特征维度，训练数据规模。

做特征选择的理由

在机器学习的实际应用中，特征数量往往比较多，其中可能存在冗余特征，对模型不利的特征，特征之间也可能存在相互依赖，容易导致如下的后果：
（1）特征个数越多，分析特征、训练模型所需的事件就越长
（2）特征个数越多，容易引起“维度灾难”，模型也会越复杂，推广能力会下降。

特征选择过程

（1）产生过程——》（2）评价函数——》（3）停止准则——》（4）验证过程

搜索算法
（1）完全搜索
（广度优先搜索，分支限界搜索，定向搜索 ，最优优先搜索）
（2）启发式搜索
（序列前向选择（SFS)，序列后向选择（SBS）， 双向搜索（BDS），增L去R选择算法（LRS）， 序列浮动选择，决策树（DTM））
（3）随机搜索
（随机产生序列选择算法（RGSS），模拟退火算法（SA），遗传算法（GA））

原文连接：https://blog.csdn.net/wangdong2017/article/details/82226763
此文章仅限总结记录，具体特征选择算法未介绍