python卡方检验筛选特征原理_Python数据分析：特征选择（过滤法）

之前介绍了特征工程的第一部分数据预处理，详见：https://www.jianshu.com/p/e3e562242f61，本文介绍特征工程的第二部分：特征选择。特征选择有n多种方法，本文先介绍过滤法。

image.png

一、先补充一下数据预处理环节没有提到的点“特征从哪里来？”

一般情况下，数据分析人员会根据业务流程搭建一套完整的指标体系，这些指标就是可能会用到的特征：

1)根据要解决的问题 从指标体系中 选择合适的指标作为特征。

2)从已有特征中去寻找高级数据特征(简单来说：基于现有的特征各种加减乘除等运算 得出来新特征)。

二、如何选择合适的特征？

1)最直接有效的方法：咨询最熟悉该业务的童鞋。

2)纯数据探索：利用特征选择的方法。

三、特征选择的方法之过滤法

1、方差过滤法

原理：方差越大说明该特征包含的信息越多，方差为0的特征要直接删除，即尝试其他过滤方法前先删掉方差为0的特征。

适用范围：离散型特征和连续型特征都可，和标签类型无关。

实现方式：sklearn中的VarianceThreshold类

-- Variance Threshold中重要参数 threshold(方差的阈值)，表示删除所有方差小于threshold的特征，不填默认为0——删除所有记录相同的特征。

案例：

import pandas as