特征选择的方法大致可分为如下几类:
1. 投影法:求出最优的投影向量w,绝对值较大的分量对应的特征即所选特征。求解w的方法很多,像LDA,linear SVM,Lasso regression,Sparse coding等都是适用的方法。
2. Wrapper:使得特征子集上的分类错误率最小。
3. Filter:对单个特征根据特定准则进行排序(如熵增益,分类错误率等),再选出其中排序较高、且、且互补性较强的构成特征子集。
4. 混合型:先用filter滤除候选特征,再用其它方法从中进行筛选。
针对2,3,4方法,可以用顺序前向/后向方法(Sequential Forward/Backward Search)进行特征子集挑选。
1. 投影法:求出最优的投影向量w,绝对值较大的分量对应的特征即所选特征。求解w的方法很多,像LDA,linear SVM,Lasso regression,Sparse coding等都是适用的方法。
2. Wrapper:使得特征子集上的分类错误率最小。
3. Filter:对单个特征根据特定准则进行排序(如熵增益,分类错误率等),再选出其中排序较高、且、且互补性较强的构成特征子集。
4. 混合型:先用filter滤除候选特征,再用其它方法从中进行筛选。
针对2,3,4方法,可以用顺序前向/后向方法(Sequential Forward/Backward Search)进行特征子集挑选。