机器学习&数据挖掘：特征选择之Filter ： Focus Approach

Focus Approach[1]方法是基于穷举搜索的Filter方法，该方法倾向于选择能够区分样本的最小特征子集。Focus Approach特征选择的度量是一致性度量。
通俗来说，特征选择的一致性是：给定两个样本，若它们在特征x1与x2的取值一样但这两个样本不属于同一类别，则特征子集{x1，x2}不是最终要选择的特征子集。
Focus Approach的步骤如图所示:

可以看出，Focus Approach的终止条件为：如果不存在两个实例在A所包含的features上都一样但却不属于同一类别，那么A就是选择出的特征子集。
Focus Approach对噪声比较敏感，在某些情况下，由于特征选择与最终分类算法是分离的，会导致该方法盲目的只选择最少特征，从而造成最终分类准确率的下降。

[1]Learning With Many Irrelevant Features,Hussein Alm uallim and Thomas G. Dietteric h