特征工程-特征选择

特征工程

1、数据降维

2、特征提取

3、特征选择

三、特征选择

​ 以上，特征提取的方法实际上都是建立在一个空间变换上，所以一般只适合数值型属性，然而现实场景中有非常多的非数值型属性，对于这一类的属性是无法直接做特征提取的（一般编码成数值型），所以特征选择的适用场景更广泛。

一、过滤式

​ 过滤式选择是设计一个“统计量”（比如和标签的相关性）来度量特征的重要性，即作用在特征$x_{j}$上对标签的区分度是不是很高。常用的统计量有：方差 ，相关系数，卡方统计量，互信息（熵）

方差（数值型）：计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征

相关系数（数值型）：计算各个特征对目标值的相关系数以及相关系数的P值 ，选择较大

卡方统计（离散型）：自变量有N种取值，因变量有M种取值，考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距，构建统计量，也是在计算特征与标签的相关性

互信息（离散型）：经典的互信息也是评价定性自变量对定性因变量的相关性的

二、封装式

​ 封装式选择是选择一些特征构成特征子集，验证学习器在不同的特征子集上的评价指标，选择最佳的特征子集作为特征选择。当然，在特征全集很多时，这种方法效率低，一种贪心的方法是，每次从剩余的子集选择一个最佳的特征加入到当前特征子集下，逐步贪心求解次优的特征子集。

三、嵌入式

​ 嵌入式选择是一种嵌入在模型中的特征选择方法，比如L1范数的稀疏编码，就是将一些不重要的特征的权重规范为0，还有树模型中的RF，GBDT，XGBoost，在构建不同的子树时，我们都会得到一个误差值，那么误差值小的子树选择的特征就可以看作是最佳特征子集。