网格搜索（Grid Search）/超参搜索

1.网格搜索法

网格搜索法（Grid Search）是一种在机器学习中用于确定最佳模型超参数的方法之一。在机器学习中，超参数是指在训练模型之前需要手动设置的参数，而不是通过学习过程中自动学习得到的参数。

网格搜索法通过指定一个超参数的候选值列表，对所有可能的参数组合进行穷举搜索，并对每一组参数进行模型训练和评估，最后选择具有最佳性能的参数组合作为最终模型的超参数。

具体而言，网格搜索法基于一个定义了各个超参数及其可能取值的参数网格，每个超参数的可能取值都会与其他超参数的可能取值进行组合。然后，对于每一组超参数的组合，都会使用交叉验证或其他评估方法来评估模型的性能。最终，选择具有最佳性能的超参数组合作为最佳模型的超参数。

网格搜索法的优点是它是一种简单而直观的方法，可以找到给定超参数空间的最佳组合。然而，它的主要缺点是当超参数空间较大时，搜索过程变得非常耗时，因为它需要对每一组参数进行模型训练和评估。为了解决这个问题，可以使用其他优化算法或技术，如随机搜索（Random Search）或贝叶斯优化（Bayesian Optimization），来加速超参数搜索过程。

2.案例

当我们使用网格搜索法来选择支持向量机（Support Vector Machine，SVM）模型的最佳超参数时，可以使用以下示例：

假设我们希望确定SVM模型的两个超参数：C（正则化参数）和kernel（核函数）。

我们将使用网格搜索法来搜索以下参数组合：

C的候选值：[0.1, 1, 10] kernel的候选值：['linear', 'rbf']

对于这个例子，我们将使用交叉验证来评估每个参数组合的模型性能。

首先，我们会选择第一个参数组合（C=0.1，kernel='linear'），使用这个参数组合训练一个SVM模型并进行交叉验证评估。然后，我们记录这个参数组合的交叉验证评分。

接下来，我们选择第二个参数组合（C=0.1，kernel='rbf'），训练一个SVM模型并进行交叉验证评估，记录评分。

然后，我们继续选择其他参数组合，重复上述步骤，直到遍历完所有的参数组合。

最后，我们比较所有参数组合的交叉验证评分，并选择具有最佳评分的参数组合作为最终的超参数。

例如，如果经过网格搜索后发现参数组合（C=1，kernel='rbf'）具有最佳的交叉验证评分，则可以选择C=1和kernel='rbf'作为最佳超参数，并使用这些超参数来构建最终的SVM模型。

3.代码

from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义参数网格
param_grid = {'C': [0.1, 1, 2, 10], 'kernel': ['linear', 'rbf']}

# 创建SVM模型
svm_model = SVC()

# 创建网格搜索对象
grid_search = GridSearchCV(estimator=svm_model, param_grid=param_grid, cv=5)

# 在训练集上进行网格搜索
grid_search.fit(X_train, y_train)

# 输出最佳参数组合和对应的交叉验证评分
print("Best Parameters: ", grid_search.best_params_)
print("Best Score: ", grid_search.best_score_)

# 在测试集上评估模型性能
best_model = grid_search.best_estimator_
test_score = best_model.score(X_test, y_test)
print("Test Score: ", test_score)

输出

Best Parameters:  {'C': 1, 'kernel': 'linear'}
Best Score:  0.9583333333333334
Test Score:  1.0