重要 线性回归的特征选择 根据 P值， SelectKBest（识别哪些feature选中）, SelectPercentile 迭代选择

在特征选择中，最适合在探索阶段使用的就是过滤式的方法，比如方差阈值法和单变量选择法。在上一篇文章中我们介绍了如何在sklearn中使用方差阈值法，那么今天我们就进一步介绍更加实用、有效的单变量选择法。

sklearn中的单变量选择法
单变量选择法的主要思路是根据某些统计检验的方法分别对每个变量进行检验，得到一组分数、p-value数据，然后我们排序选择分数最高(或p-value最小等)的那些特征。在sklearn中，分别针对不同的统计检验方法和不同的排序选择标准提供了不同的工具，比如用于回归问题的f_regression、mutual_info_regression分数，用于分类问题的f_classif、chi2、mutual_info_classf分数；以及用于特征排序和选择的SelectKBest、SelectPercentile、SelectFpr等。把这两类工具相结合，就可以完成特征选择的任务了。

今天我们先学习一下选择方法，在下一篇文章中，我们再介绍不同的评分方法。

1. SelectKBest
   顾名思义，SelectKBest方法就是从所有特征中挑选出最好的K个特征组成新的特征集。如何来定义最好呢？这要取决于我们传入的评分函数，该方法默认会使用f_classif，这种方法适用于为分类模型评估特征，与之对应的是f_regression，它适用于回归模型的特征评估。

我们来看一个简单的例子。

from sklearn.datasets import load_boston
from sklearn.feature_selection import SelectKBest, f_regression
from sklearn.metrics import r2_score, mean_squared_error
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

boston = load_boston()
X = boston.data
y = boston.target
print(X.shape)
print(y.shape)
输出为：

(506, 13)
(506,)

这里我们导入了波士顿房价的数据集，该数据集是一个回归问题，共有506个样本、13个特征，我们的任务是根据这13个特征来预测房价。我们先使用所有的特征数据来训练一个模型，作为一个基准。

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1001)
model = LinearRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
r2 = r2_score(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
print('R2: ', r2)
print('MSE: ', mse)
这里我们使用$R^2$和均方误差MSE来作为回归模型效果的评估标准，输出如下：

R2: 0.6783942923302058
MSE: 29.824006898863182

从 R 2 R^2