特征的选择_03：ChiSqSelector卡方选择器

---

笔记整理时间：2017年1月11日
笔记整理者：王小草

---

1. 卡方检验

1.1 卡方检验来选择特征的原因

对于建立模型而言并非特征越多越好，因为建模的目标是使用尽量简单的模型去实现尽量好的效果。减少一些价值小贡献小的特征有利于在表现效果不变或降低度很小的前提下，新找到最简单的模型。

那么什么样的特征是价值小的呢？想想我们之所以用机器学习的模型去学习特征，是为了更好地预测被特征影响着的应变量（标签）。那么那些根本不会对应变量产生影响，或者影响很小的特征理应事先去掉。

那么怎么判断特征对应变量的影响程度的大小呢？我们可以使用卡方检验对特征与应变量进行独立性检验，如果独立性高，那么表示两者没太大关系，特征可以舍弃；如果独立性小，两者相关性高，则说明该特征会对应变量产生比较大的影响，应当选择。

1.2 卡方独立性检验的过程

卡方检验适用与类别变量，如果要对连续型变量做检验，可以将连续型变量分成多个区间，变成类别的形式。

如上所述，卡方检验可以判断两个变量之间是否有显著的相关性（也可以说成是否有显著的独立性）我们通过一个小例子来说明如何做卡方独立性检验。

假设现在有两个变量，自变量（特征）是性别，应变量是是否化妆。并且样本粮食200，其中男生100，女生100。他们中化妆与不化妆的数量如下表：

男	女	总数
化妆	15	95
不化妆	85	5
总数	100	100

（1）零假设H0：是否化妆与性别无关。
（2）自由度为：（自变量的类别数-1）×（应变量的类别数-1）=（2-1）×（2-1）)=1
（3）选择显著性水平为α=0.05
（4）求解男女生在化妆与不化妆两个特征中的期望值

</

男	女	总数