LVW（Las Vegas Wrapper）特征选择算法简单介绍

相关文章
特征选择
Relief 特征选择算法简单介绍

LVW（Las Vegas Wrapper）是一种典型的包裹式特征选择方法，它在拉斯维加斯方法框架下使用随机策略来进行子集搜索，并以最终分类器的误差为特征子集评价准则。

1 拉斯维加斯方法概述

LVW 基于拉斯维加斯方法的框架，拉斯维加斯方法是一个典型的随机化方法，即概率算法中的一种。它具有概率算法的特点，允许算法在执行的过程中随机选择下一步，许多情况下，当算法在执行过程中面临一个选择时，随机性选择常比最优选择要省时，因此概率算法可在很大程度上降低算法的复杂度。
　　
拉斯维加斯方法和蒙特卡洛方法是两个以著名赌场命名的随机化方法，两者的比较与分析如下：

（1）与蒙特卡罗算法类似，拉斯维加斯算法找到正确解的概率随着它所用的计算时间的增加而提高。对于所求解问题的任一实例，用同一拉斯维加斯算法反复对该实例求解足够多次，可使求解失败的概率任意小。

（2）拉斯维加斯算法不会得到不正确的解，一旦用拉斯维加斯算法找到一个解，那么这个解一定就是正确的解，但有时用拉斯维加斯算法找不到解。而蒙特卡洛方法一定会给出解，虽然给出的解未必满足要求。若无时间限制，则两者都能给出满足要求的解。

2 LVW 算法

LVW 基于拉斯维加斯方法的框架，假设数据集为 $D$，特征集为 A A