（《机器学习》完整版系列）第11章特征选择与稀疏学习——11.1 子集搜索与评价（流水贪心，贪心法的优缺点）-CSDN博客

本文链接：https://blog.csdn.net/qiy_icbc/article/details/129612072

贪心法有两个缺点：一个是结果很可能不是最优解；另一个是结果不唯一。优点也是明显：克服了组合爆炸或不可穷尽的问题，能在有限的时间里得到一个较好的或可接受的结果。

子集搜索与评价

前一章我们学过了降维，那是通过变换将 $d$ 维向量转换成 $d^{'}$ 维，在变换过程中，原来的 $d$ 维都参与了运算。这里，我们再学习“删维”：将与任务不太相关的属性去掉。注意“降维”与“删维”的区别，虽然二者的目的都是使属性变少，但前者变换后的属性已不是原来的属性了。

“删维”就是要保留重要的属性（特征），这就是特征选择问题。

回顾决策树算法，每一个分叉处都是要通过某个度量指标选择一个特征，这样生成的树实际上也对特征（属性）进行了一个排序，依这个排序，取前 $d^{'}$ 个特征，即使得样本从 $d$ 维变为 $d^{'}$ 维（对应为树的深度减小了）。该原理可以推广到一般。

特征选择的两个环节：

子集搜索：这就是让子集变化，从而找到合适的子集。显然，因组合爆炸而不可能试验所有子集，故采取“微调”方式：从一个小子集出发，让子集逐渐长大，即每次优选一个元增加进去，这称为向前搜索；或者从全集出发，让子集逐渐变小，即每次优选一个元减掉，这称为向后搜索。
子集评价：在上述搜索过程中，需要判断增加（或减少）哪个元才是当前的最优。通常是用信息增益进行评价。

上述子集搜索策略，与其说是“贪心的”不如说是“短视的”，例如：在 ${a_2,a_4\}$ 时，选择下一个最优 $a_5$ ，得子集 ${a_2,a_4,a_5\}$ ，若 ${a_2,a_4,a_5,*\}$ 比 ${a_2,a_4,a_6,a_8\}$ 差，则因没选出 ${a_2,a_4,a_6\}$ （它比 ${a_2,a_4,a_5\}$ 差）而搜索不到 ${a_2,a_4,a_6,a_8\}$ 。在生活中也有这样的例子：设以下山作为目标，“短视”者只看到当前的“局部”，而选择直接向下走，不会看到先翻过一个坡会下降到更低。其实，这也是自然界法则：流水是“贪心”地、“短视”地向下流动。