【067】特征工程之 Wrapper 法

1、Wrapper 包装法

• 封装器用选取的特征子集对样本(标签)集进行训练学习，训练的精度(准确率)作为衡量特征子集好坏的标准,经过比较选出最好的特征子集。常用的有逐步回归（Stepwise regression）、向前选择（Forward selection）和向后选择（Backward selection）。

• 工作原理
  包装法是指使用算法模型对特征子集与目标(标签)集进行训练评估，根据训练的精度(准确率)衡量特征子集的好坏，从而挑选出最好的特征子集。

• 优缺点
  优点：考虑了特征之间组合以及特征与标签之间的关联性。
  缺点：由于要划分特征为特征子集并且逐个训练评分，因此当特征数量较多时,计算时间又会增长；另外在样本数据较少的时候，容易过拟合。当观测数据较少时容易过拟合，而当特征数量较多时,计算时间又会增长。

2、稳定性选择(Stability Selection)

• 工作原理
  稳定性选择是一种基于二次抽样和选择算法(训练模型)相结合的方法，选择算法可以是回归、分类SVM或者类似算法。

• 原理实现：在不同的特征子集上运行训练模型，不断地重复，最终汇总特征选择的结果。比如可以统计某个特征被认为是重要特征的频率
  （被选为重要特征的次数除以它所在的子集被测试的次数）。理想情况下，重要特征的得分会接近100%。稍微弱一点的特征得分