周志华 《机器学习》之 第十一章（特征选择与稀疏学习）概念总结

在做图像识别的程序中，我们经常遇到特征这个词语，也常有特征提取作为识别的前序工作，通常我们可以根据提取到的特征，根据应有特征进行对比，最终完成对物体缺陷等的识别。那么在提取到的众多特征中，如何有效的提取到能很好进行分类的特征呢？在识别过程中，往往通过经验总结，或直接的抽象特征作为判别条件。在机器学习中，周老师讲到的特征选择，我想也是对属性空间中所有特征，进行一个筛选，选择出有效特征。我想我们也可以理解成一种降维方法。去除干扰特征或无效特征的手段。因此在机器学习中我们可以认为特征选择是一个数据预处理过程，完成特征选择后，再进行训练学习器，最终完成良好的学习过程。

1、子集搜索与评价

特征：在给定的样本集中属性，我们将属性称为特征
相关特征：给定的属性集对当前学习任务有用的属性称为相关特征
无关特征：给定的属性集对当前学习任务无用的属性称为无关特征
特征选择：在给定的特征集合中选择出相关特征子集的过程，称为特征选择
冗余特征：所包含的信息能从其他特征中推演出来
前向搜索：给定一个子集，采用逐渐增加一个相关特征的策略称为前向搜索
后向搜索：从一个完整的特征集合开始，每次尝试去掉一个无关特征，这样逐渐减少特征的策略称为后向搜索
双向搜索：如果将前向搜索和后向搜索结合起来，每一次逐渐增加选定相关特征（这些特征在后续轮中