（《机器学习》完整版系列）第11章 特征选择与稀疏学习——11.3 包裹式选择（特征选择的LVW算法：打开包裹）

讨论了特征选择的包裹式选择的代表LVW。
从图中可以看出，像打开包裹一样，一层一层的。

包裹式选择

基于给定的学习算法$\mathfrak{L}$而定制的特征选择称为包裹式选择，代表性的有LVW。

图11.2 LVW

在第$k$步，对于属性集$A^k$，算法$\mathfrak{L}$的性能度量为$E^k$，在集$A^k$内随机取一个子集$A^{-}$（如，随机去掉一个元素形成的子集），则依算法$\mathfrak{L}$的预测结果，可以算得子集$A^{-}$上的性能$E^{-}$，若$E^{-}$好于$E^k$，则取子集$A^{-}$为下一步的属性集$A^{k+1}$，即图11.2中，左侧内部矩形“拉出来”，形成右侧外部矩形。 否则，在$A^k$中重新选子集$A^{-}$，并对选择次数$t$进行计数，当达到设定的次数$T$时结束。

在右侧外部矩形中（即$A^{k+1}$上）重复上述过程，即从$k$（图的左侧）递进到了$k+1$（图的右侧），继续递进，直至满足结束条件。

值得注意的是学习算法$\mathfrak{L}$是基于样本集的，设样本集为$D$，在选定的子集$A^{-}$上，样本集变为$D^{A^{-}}$（表示$D$中的每个样本都删除了指定的属性，只保留$A^{-}$中包含的属性），在样本集$D^{A^{-}}$上应用算法$\mathfrak{L}$，并通过交叉验证获得对应的误差上的性能$E^{-}$（作为性能度量）。

综上，整理即得【西瓜书图11.1】的LVW算法，其中，$A^{\ast },A^{\prime },E,E^{\prime }$分别对应于这里的$A^k,A^{-},E^k,E^{-}$。

LVW算法中是采用“贪心”策略，即发现$A^{-}$较$A^k$优，就选择$A^{-}$作为$A^{k+1}$，可以优化一下使它不那么“贪心”，如，随机生成多个$A^{-}$，通过比较取性能最好的$A^{-}$作为$A^{k+1}$。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权
  上一篇：11.2 过滤式选择（“近墨者黑”，黑多少？）
  下一篇：11.4 嵌入式选择与L1正则化（将特征选择嵌入到优化算法中，以LASSO算法为代表）