过滤式方法——先对数据集进行特征选择,然后再训练学习器,特征选择过程与后续学习器无关。
相当于先用特征选择过程对初始特征进行“过滤”,再用过滤后的特征来训练模型。
【某种规则】:按照发散性或相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,从而选择满足条件的特征。
特征的发散性:如果一个特征不发散,例如方差接近于 0,也就是说样本在该特征上基本没有差异,那么这个特征对于样本的区分并没有什么用。
特征与目标的相关性:特征与目标的相关性越高说明特征的变动对目标的影响较大,因此我们应当优先选择与目标相关性高的特征。
方法:
方差选择法(only发散性)
相关系数法
卡方检验法
互信息法
基于模型的特征排序
Relief
参考:
特征选择:8 种常见的特征过滤法 - 腾讯云开发者社区-腾讯云 (tencent.com)
原文链接:https://blog.csdn.net/weixin_43378396/article/details/90649064