python——机器学习：sklearn模型选择model_selection模块函数说明和应用示例

在应用机器学习方法进行模型训练时，需要通过数据切分将数据集分为训练集/验证集/测试集。并且可以通过交叉验证，对模型在验证集上的拟合效果进行预评估，以选择表现最好的模型。此外，可以通过参数网格搜索的方法，确定最优的模型参数。
本篇文章通过具体数据做示例，总结了sklearn中模型选择model_selection模块常用函数的使用。包括：
1. 数据切分：train_test_split
2. K折交叉验证：KFold,StratifiedKFold,cross_val_score
3. 参数网格搜索：GridSearchCV

一、数据导入

导入python自带的wine数据集用于演示。该数据集为一个分类数据集，响应变量y取值为0、1、2.

from sklearn import datasets
wine_data = datasets.load_wine()
X = wine_data.data
y = wine_data.target
print(X.shape)
# (178, 13)

二、数据切分

sklearn中train_test_split函数用于数据切分。其输入为待切分的特征X 和 相应变量y。输出按顺序为：切分后的训练集特征X_train，测试集特征X_test，训练集响应变量y_train，测试集响应变量y_test。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

train_test_split 函数参数说明：

• train_size：指定训练集大小（整数）/训练集比例（小数）
• test_size：指定测试集大小（整数）/测试集比例（小数）
• shuffle：默认值为True，表示在进行数据分割前，先进行数据打乱重排。
• random_state：随机种子，用来保证每次运行函数时，数据打乱重排的结果是一致的。
• stratify：用于控对制数据按标签类别进行分层切分。默认值为None，表示随机划分标签。当给定一个array时，将对array中的每个类别按相同的比例切分，此时其取值通常为类别响应变量y。（后面将通过具体实例进行演示）

当stratify取默认值None时，运行结果如下：

# 执行如下代码，测试集占比为0.2，查看划分结果
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 查看训练集和测试集大小
print(X_train.shape, X_test.shape)
#### 输出：(142, 13) (36, 13)

# 查看原始数据中标签类别分布,可知标签中有45个值为0，57值为1，40个值为2
print(sum(y==0), sum(y==1), sum(y==2))
#### 输出：45 57 40

## 查看划分后的标签类别分布,可知并不是对标签按比例分割
print(sum(y_test==0), sum(y_test==1), sum(y_test==2))
#### 输出：14 14 8

实际使用中，如果对数据进行随机切分，可能导致某些数据量较少的类别全部被划分入训练集，影响模型的效果。所以，可以在数据分割时，按标签类别分层切分（取stratify=y），代码如下。

# 按y分布切分
X_train_1, X_test_1, y_train_1, y_test_1 = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

#查看测试集中，各类别标签所占比例
print(sum(y_test_1==0)/sum(y==0))
print(sum(y_test_1==1)/sum(y==1))
print(sum(y_test_1==2)/sum(y==2))
#### 输出：
#### 0.2033898305084746
#### 0.19718309859154928
#### 0.20833333333333334

可见，对每个类别，按0.2的比例切分到了测试集中。

三、K折交叉验证

K折交叉验证，指将训练数据等分成K个子集，每次选取1个子集作为验证集，其余K-1个子集作为训练集。该过程重复K次。

1. KFold
   用于定义一个K折交叉验证。参数 n_splits 表示切分份数，其它参数含义同数据切分部分。如定义一个5折交叉验证：

from sklearn.model_selection import KFold,StratifiedKFold
n_splits = 5
kf = KFold(n_splits, shuffle=True, random_state=42)

其方法有get_n_splits()、split()。
get_n_splits() 返回切分的数量，split() 返回每个子集中的数据在原数据集中的位置标识。应用方法和结果如下：

kf_n = KFold(n_splits, shuffle=True, random_state=42).get_n_splits(X,y)
print(kf_n)
#### 输出： 5

kf_array = KFold(k, shuffle=True, random_state=42).split(X,y)
for train_index, test_index in KFold(k, shuffle=True, random_state=42).split(X,y):
    # 打印下标
    #print("TRAIN:", train_index, "TEST:", test_index)
    print("TEST:", test_index)
    # 提取每次切分后训练集和验证集数据
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]

输出的每次验证集下标如下所示。可以看到，每次迭代验证集的数据量是总量的1/5，且5次迭代的验证集下标无重复。

3. StratifiedKFold
   其使用方法同KFold，其作用是，按y各类别的比例切分。同第二节中，train_test_split 的参数 stratify=y 的情况。

4. cross_val_score
   该函数用于直接计算K折交叉验证的模型得分。这个得分对所有内置的评分函数，都是得分越高，说明模型拟合越好。该函数的返回值是长度为K的list，为K次迭代在验证集上的模型得分。

如我们构建一个随机森林模型：

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(random_state=42)  #随机种子固定

cross_val_score函数输入参数包括：

• estimator：模型
• X：特征
• y：响应变量
• scoring：评分函数，如果不设置该参数，其默认使用所用模型estimator的score()函数对应的得分。
• cv：（1）其取值可以是一个整数，表示切分的折数，此时对于响应变量 y 为类别变量时，其默认使用StratifiedKFold()进行切分。其它情况时，使用KFold()进行切分。（2）其取值可以是一个CV切分器，如上述代码中的 kf。（3）其取值也可以是包含每折训练集和测试集下标的array，如上述代码中的 kf_array。（4）默认值为5.

from sklearn.model_selection import cross_val_score
# 例：
kf = KFold(5, shuffle=True, random_state=42)
cv_score = cross_val_score(rf, X, y, scoring='accuracy' ,cv = kf)
print(cv_score)
#### 输出：[0.97222222 0.94444444 0.97222222 0.97142857 1.        ]

# 例：
kf_array = KFold(k, shuffle=True, random_state=42).split(X,y)
cv_score_2 = cross_val_score(rf, X, y, scoring='accuracy' ,cv = kf_array)

补充：（1）评分函数score 可以使用内置的评分函数，其可选取值如下所示：
（说明文档链接：https://scikit-learn.org/stable/modules/model_evaluation.html#scoring-parameter）


（2）评分函数score 也可以自行定义。使用 sklearn 的 metrics 模块中，make_scorer() 函数。

from sklearn.metrics import make_scorer
# 定义一个自己的函数
# 如均方误差
import numpy as np
def my_score_fun(y_true, y_pred):
    score = -np.abs(y_true-y_pred).max()
    # 为了满足得分越大越好，取个负值   
    return score

cv_score_3 = cross_val_score(rf, X, y, scoring=make_scorer(my_score_fun, greater_is_better = True) ,cv = 5)

四、参数网格搜索

GridSearchCV 函数，给定模型参数的可选值，对这些可选值所有组合，计算交叉验证的得分，找到最优的参数组合。

# 函数常用参数说明
GridSearchCV(estimator, param_grid, scoring, cv)
# estimator：模型
# param_grid：字典格式，‘key’为参数名，‘value’为参数取值的list
# scoring、cv：同上述 cross_val_score() 函数

使用示例：

from sklearn.model_selection import GridSearchCV
# 定义参数搜索取值的字典
rf_para={'max_depth':[3,5,7],'min_samples_split':[5,10]}
# 定义网格搜索
rf_search = GridSearchCV(rf, rf_para, cv=5, scoring='accuracy')
# 模型拟合
rf_model = rf_search.fit(X,y) 

# 获取最优参数
print(rf_model.best_params_)
#### 输出：{'max_depth': 3, 'min_samples_split': 5}
#### 如果搜索出的最优参数为边界值，可以尝试在超出边界值的一侧增加取值，再进行搜索

# 获取最优模型
rf_best = rf_model.best_estimator_
print(rf_best)
#### 输出：RandomForestClassifier(max_depth=3, min_samples_split=5, random_state=42)

# 计算最优模型的得分
rf_best.score(X,y) 

# 使用最优模型进行预测
rf_pred = rf_best.predict(X)  ## 实际使用中，此处应该使用划分出的测试集中的 X_test