机器学习——特征工程之子集搜索与评价

一、前言

1、特征：描述目标对象的属性

2、特征类型

    a) 相关特征：对于当前学习任务有用的属性，即与目标对象非常相关的特征

    b) 无关特征：对于当前学习任务无用的属性，即与目标对象无关的特征

    c) 冗余特征：其包含的信息可通过其它特征推演

3、特征选择：从给定的特征集合中选择出相关特征子集的过程

4、特征选择的理由

    a) 缓解维数灾难问题，该动机类似于特征降维

    b) 去除不相关特征往往会降低学习任务的难度

二、子集搜索与评价

1、背景：从初始特征集合中选取一个包含了所有重要信息的特征子集，若没有任何领域知识作为先验假设，那就只好遍历所有可能子集，可能遭遇组合爆炸

2、解决方式：产生“候选子集”并对其进行评价，基于评价结果产生下一个候选子集，重复以上操作直到无法找到更好的候选子集

3、子集搜索（贪心搜索减少计算，寻找局部最优而非全局）

    a) 前向搜索：将每个特征看作一个候选子集，逐渐增加相关特征的策略

    b) 后向搜索：从完整的特征集合开始，逐渐减少无关特征的策略

    c) 双向搜索：结合前向和后向，每轮增加选定相关特征，同时减少无关特征

4、  子集评价：常用信息增益评价子集，类似决策树（可用来做特征选择）

5、  特征选择 = 子集搜索机制 + 子集评价机制

6、  常见特征选择方法大致分类：过滤式（filter）、包裹式（wrapper）和嵌入式（embedding）