优化算法与特征选择

特征选择：

定义：特征选择( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS )，或属性选择( Attribute Selection )。是指对当前学习任务有价值的属性称为相关属性，没有价值的属性称为无关特征，并从给定的特征集中选择出相关特征子集 的过程就是特征选择。冗余特征是指这些特征可以从其他特征中推演出来。
即从已有的M个特征(Feature)中选择N个特征使得系统的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段,也是模式识别中关键的数据预处理步骤。对于一个学习算法来说,好的学习样本是训练模型的关键。
一般而言，特征选择可以看作一个搜索寻优问题。对大小为n 的特征集合， 搜索空间由$2$