Feature Selection详解（附带Relief、Relief-F、LVM详解）（二）

Feature Selection详解

第二十六次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇承接上一篇《Feature Selection详解（附带Relief、Relief-F、LVM详解）（一）》的内容，仍然是针对特征选择问题的其他几种常见方法进行阐述，并介绍其中一种比较经典的特征选择算法（LVM）。

“包裹式”特征选择

  与过滤式方法在选择特征时不考虑学习器不同，“包裹式”特征选择方法将学习器的性能作为特征子集的度量方法考虑进来，因此，包裹式选择方法可以被认为是为指定学习器选择最适合的特征子集。实验证明，虽然使用该方法的最终学习器的性能要高于过滤式，但是由于特征选择过程中需要对学习器进行多次训练，因此大大增加了计算开销。
  LVW（Las Vegas Wrapper）是一个典型的包裹式特征选择方法，于1996年由Liu和Setiono提出，他是“拉斯维加斯算法”（Las Vegas Algorithm）的一种改进版本，拉斯维加斯算法是一种随机搜索策略，在给定运行时间限制的情况下，该算法可能得不到最优的结果，在搜索空间很大（特征很多）而又不设置时间限制时，可能会得不到最终结果。LVW在随机搜索的过程中，加入训练学习器并评估学习器性能的步骤，算法伪代码如下图所示。

图2 LVM算法

算法第1-4行：初始化最小分类错误率$E$、当前最优特征子集大小$d$、当前最优特征子集$A^{\ast }$以及当前运行次数$t$，将原始数据集划分为训练集和验证集；
算法第5行：为该算法添加明确的时间界；
算法第6-7行：在原始特征集合$A$中随机选择特征子集$A^{\prime }$，设置该轮循环的特征子集大小$d^{\prime }$；
算法第8行：在当前样本空间（只保留$A^{\prime }$中的值）中，通过训练集训练指定的学习器，并通过验证集测试该学习器的分类错误率$E^{\prime }$；
算法第9-14行：如果该轮循环得到的学习器分类错误率 E ′ E' E