特征选择

从特征选择和随后的模型训练的关系上，主要分为三大类方法:过滤式、包裹式、嵌入式[1].

1. 过滤式

特征子集搜索与评价与模型训练过程不重合，将过滤得到的特征用于训练。其中搜索特征子集合的方法主要有：前向、后向、双向；模型评价一般基于信息熵理论。

2. 包裹式

通过机器学习算法本身对模型进行评价。比如，LVW(Las Vegas Wrapper)拉斯维加斯特征选择方法。

3. 嵌入式

基于L1、L2正则化的机器学习方法、决策树的特征选择方法、深度学习（比如CNN）自动提取特征的方法。
L1、L2正则化方式的区别：
L1更容易得到稀疏性特征

参考文献

特征选择总述
1.周中华，《机器学习》