一、前言
1、特征:描述目标对象的属性
2、特征类型
a) 相关特征:对于当前学习任务有用的属性,即与目标对象非常相关的特征
b) 无关特征:对于当前学习任务无用的属性,即与目标对象无关的特征
c) 冗余特征:其包含的信息可通过其它特征推演
3、特征选择:从给定的特征集合中选择出相关特征子集的过程
4、特征选择的理由
a) 缓解维数灾难问题,该动机类似于特征降维
b) 去除不相关特征往往会降低学习任务的难度
二、子集搜索与评价
1、背景:从初始特征集合中选取一个包含了所有重要信息的特征子集,若没有任何领域知识作为先验假设,那就只好遍历所有可能子集,可能遭遇组合爆炸
2、解决方式:产生“候选子集”并对其进行评价,基于评价结果产生下一个候选子集,重复以上操作直到无法找到更好的候选子集
3、子集搜索(贪心搜索减少计算,寻找局部最优而非全局)
a) 前向搜索:将每个特征看作一个候选子集,逐渐增加相关特征的策略
b) 后向搜索:从完整的特征集合开始,逐渐减少无关特征的策略
c) 双向搜索:结合前向和后向,每轮增加选定相关特征,同时减少无关特征
4、 子集评价:常用信息增益评价子集,类似决策树(可用来做特征选择)
5、 特征选择 = 子集搜索机制 + 子集评价机制
6、 常见特征选择方法大致分类:过滤式(filter)、包裹式(wrapper)和嵌入式(embedding)