特征工程
1、数据降维
2、特征提取
3、特征选择
三、特征选择
以上,特征提取的方法实际上都是建立在一个空间变换上,所以一般只适合数值型属性,然而现实场景中有非常多的非数值型属性,对于这一类的属性是无法直接做特征提取的(一般编码成数值型),所以特征选择的适用场景更广泛。
一、过滤式
过滤式选择是设计一个“统计量”(比如和标签的相关性)来度量特征的重要性,即作用在特征 xj x j 上对标签的区分度是不是很高。常用的统计量有:方差 ,相关系数,卡方统计量,互信息(熵)
方差(数值型):计算各个特征的方差,然后根据阈值,选择方差大于阈值的特征
相关系数(数值型):计算各个特征对目标值的相关系数以及相关系数的P值 ,选择较大
卡方统计(离散型):自变量有N种取值,因变量有M种取值,考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距,构建统计量,也是在计算特征与标签的相关性
互信息(离散型):经典的互信息也是评价定性自变量对定性因变量的相关性的
二、封装式
封装式选择是选择一些特征构成特征子集,验证学习器在不同的特征子集上的评价指标,选择最佳的特征子集作为特征选择。当然,在特征全集很多时,这种方法效率低,一种贪心的方法是,每次从剩余的子集选择一个最佳的特征加入到当前特征子集下,逐步贪心求解次优的特征子集。
三、嵌入式
嵌入式选择是一种嵌入在模型中的特征选择方法,比如L1范数的稀疏编码,就是将一些不重要的特征的权重规范为0,还有树模型中的RF,GBDT,XGBoost,在构建不同的子树时,我们都会得到一个误差值,那么误差值小的子树选择的特征就可以看作是最佳特征子集。