【scikit-learn】sklearn.model_selection.GridSearchCV 类：网格搜索交叉验证超参数优化

本文链接：https://blog.csdn.net/u013172930/article/details/146292980

`sklearn.model_selection.GridSearchCV`

GridSearchCV 是 sklearn.model_selection 提供的 超参数优化工具，用于 遍历所有可能的超参数组合，通过 交叉验证 选择 最佳超参数。

1. `GridSearchCV` 作用

自动搜索最佳超参数组合，提高模型性能。
使用交叉验证（默认 cv=5） 评估不同超参数的效果。
适用于分类和回归任务，支持 不同评分指标（accuracy、f1、roc_auc、r2 等）。

2. `GridSearchCV` 代码示例

(1) 超参数优化 SVM

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target

# 设定超参数搜索空间
param_grid = {
    "C": [0.1, 1, 10],  # 正则化参数
    "kernel": ["linear", "rbf"]  # 选择不同核函数
}

# 初始化 SVM 并进行网格搜索
grid_search = GridSearchCV(SVC(), param_grid, cv=5)
grid_search.fit(X, y)

print("最佳参数:", grid_search.best_params_)
print("最佳得分:", grid_search.best_score_)

输出

最佳参数: {'C': 1, 'kernel': 'linear'}
最佳得分: 0.98

解释

GridSearchCV 遍历所有可能的 C 和 kernel 组合，选择最优超参数。

(2) 使用 `StratifiedKFold` 进行分层交叉验证

from sklearn.model_selection import StratifiedKFold

cv = StratifiedKFold(n_splits=5)
grid_search = GridSearchCV(SVC(), param_grid, cv=cv)
grid_search.fit(X, y)

print("最佳参数:", grid_search.best_params_)

解释

适用于类别不均衡数据，保证交叉验证每折类别比例一致。

(3) 选择不同评分指标

grid_search = GridSearchCV(SVC(), param_grid, cv=5, scoring="accuracy")
grid_search.fit(X, y)
print("最佳参数:", grid_search.best_params_)

可选评分指标

任务	评分指标 (`scoring`)	说明
分类	`"accuracy"`	准确率
分类	`"f1"`	F1-score
分类	`"roc_auc"`	ROC AUC
回归	`"r2"`	R²（决定系数）
回归	`"neg_mean_absolute_error"`	负 MAE
回归	`"neg_mean_squared_error"`	负 MSE

示例：

grid_search = GridSearchCV(SVC(), param_grid, cv=5, scoring="f1_macro")
grid_search.fit(X, y)
print("最佳参数:", grid_search.best_params_)

(4) 训练多个模型

from sklearn.ensemble import RandomForestClassifier

param_grid = {
    "n_estimators": [10, 50, 100],
    "max_depth": [None, 10, 20]
}

grid_search = GridSearchCV(RandomForestClassifier(), param_grid, cv=5)
grid_search.fit(X, y)

print("最佳参数:", grid_search.best_params_)

解释

GridSearchCV 可用于多种模型，如 RandomForestClassifier。

3. `GridSearchCV` 的参数

GridSearchCV(estimator, param_grid, scoring=None, cv=None, n_jobs=None, verbose=0)

参数	说明
`estimator`	评估器（模型），如 `SVC()`
`param_grid`	需要搜索的超参数
`scoring`	评分指标（如 `"accuracy"`、`"f1"`、`"roc_auc"`、`"r2"`）
`cv`	交叉验证策略（默认 `5`，可传 `KFold()`、`StratifiedKFold()`）
`n_jobs`	并行计算（`-1` 表示使用所有 CPU 核心）
`verbose`	是否打印搜索过程（`0`=不输出，`1`=简单输出，`2`=详细输出）

4. 适用场景

超参数优化，提高模型性能。
分类/回归任务的模型调优。
结合 StratifiedKFold 处理类别不均衡数据。

5. `GridSearchCV` vs. `RandomizedSearchCV` vs. `train_test_split`

方法	适用情况	作用
`GridSearchCV`	参数范围较小，计算量可控	遍历所有参数组合
`RandomizedSearchCV`	参数范围较大	随机选择部分参数搜索
`train_test_split`	简单模型训练	训练集/测试集划分

示例：

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform

# 设定参数分布
param_dist = {'C': uniform(0.1, 10), 'kernel': ['linear', 'rbf']}

# 进行随机搜索
random_search = RandomizedSearchCV(SVC(), param_dist, n_iter=5, cv=5, random_state=42)
random_search.fit(X, y)

print("最佳参数:", random_search.best_params_)