特征选择笔记

（一）特征选择的目的

在项目中，可能会有大量的特征可使用，有的特征携带的信息丰富，有的特征携带的信息有重叠，有的特征则属于无关特征，如果所有特征不经筛选地全部作为训练特征，会增加不必要的计算负担，甚至会降低模型的准确性，如果只选择关键特征构建模型，可以减少算法的运行时间，也可以增加模型的可解释性。

（二）过滤式特征选择

1. 过滤式特征选择的常见方法

Chi-squared test（卡方检验）
Information gain（信息增益）互信息方法、最大信息系数方法
Correlation coefficient scores（相关系数）距离相关系数 Pearson相关系数
Relief

2. 卡方检验的局限性

只适用于分类问题中离散型特征筛选，不能用于分类问题中连续型特征的筛选，也不能用于回归问题的特征筛选。

from sklearn.feature_selection import SelectKBest ,chi2
#选择相关性最高的前5个特征
X_chi2 =<