Feature Selection详解（附带Relief、Relief-F、LVM详解）（二）

最新推荐文章于 2025-03-23 23:23:24 发布

Leon1895

最新推荐文章于 2025-03-23 23:23:24 发布

阅读量2.3k

点赞数 1

分类专栏：机器学习文章标签： feature selection 特征选择 LVM

本文链接：https://blog.csdn.net/qq_40793975/article/details/83104537

版权

本文详细介绍了特征选择中的“包裹式”和“嵌入式”方法，包括LVW（Las Vegas Wrapper）算法的描述及LASSO在嵌入式特征选择中的应用，探讨了如何在学习器训练过程中实现特征选择。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Feature Selection详解

第二十六次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇承接上一篇《Feature Selection详解（附带Relief、Relief-F、LVM详解）（一）》的内容，仍然是针对特征选择问题的其他几种常见方法进行阐述，并介绍其中一种比较经典的特征选择算法（LVM）。

“包裹式”特征选择

与过滤式方法在选择特征时不考虑学习器不同，“包裹式”特征选择方法将学习器的性能作为特征子集的度量方法考虑进来，因此，包裹式选择方法可以被认为是为指定学习器选择最适合的特征子集。实验证明，虽然使用该方法的最终学习器的性能要高于过滤式，但是由于特征选择过程中需要对学习器进行多次训练，因此大大增加了计算开销。
LVW（Las Vegas Wrapper）是一个典型的包裹式特征选择方法，于1996年由Liu和Setiono提出，他是“拉斯维加斯算法”（Las Vegas Algorithm）的一种改进版本，拉斯维加斯算法是一种随机搜索策略，在给定运行时间限制的情况下，该算法可能得不到最优的结果，在搜索空间很大（特征很多）而又不设置时间限制时，可能会得不到最终结果。LVW在随机搜索的过程中，加入训练学习器并评估学习器性能的步骤，算法伪代码如下图所示。

图2 LVM算法

算法第1-4行：初始化最小分类错误率 $E$ 、当前最优特征子集大小 $d$ 、当前最优特征子集 $A^*$ 以及当前运行次数 $t$ ，将原始数据集划分为训练集和验证集；
算法第5行：为该算法添加明确的时间界；
算法第6-7行：在原始特征集合 $A$ 中随机选择特征子集 $A^{'}$ ，设置该轮循环的特征子集大小 $d^{'}$ ；
算法第8行：在当前样本空间（只保留 $A^{'}$ 中的值）中，通过训练集训练指定的学习器，并通过验证集测试该学习器的分类错误率 $E^{'}$ ；
算法第9-14行：如果该轮循环得到的学习器分类错误率 $E$

最低0.47元/天解锁文章