特征选择的方法

特征选择的方法大致可分为如下几类：
1. 投影法：求出最优的投影向量w，绝对值较大的分量对应的特征即所选特征。求解w的方法很多，像LDA，linear SVM，Lasso regression，Sparse coding等都是适用的方法。
2. Wrapper：使得特征子集上的分类错误率最小。
3. Filter：对单个特征根据特定准则进行排序（如熵增益，分类错误率等），再选出其中排序较高、且、且互补性较强的构成特征子集。
4. 混合型：先用filter滤除候选特征，再用其它方法从中进行筛选。
针对2，3，4方法，可以用顺序前向/后向方法（Sequential Forward/Backward Search）进行特征子集挑选。