网格搜索（Grid Search）

网格搜索（Grid Search）是一种系统化的超参数优化方法，常用于选择机器学习模型中的最佳参数组合。它通过穷举法，在用户指定的参数空间中逐一尝试不同的超参数组合，并基于交叉验证的结果，选择出使模型性能最优的参数。以下是网格搜索的工作原理和步骤：

1. 定义超参数范围

首先，需要确定模型中要优化的超参数及其候选值范围。例如，在支持向量机（SVM）中，可能需要优化正则化参数 C 和核函数参数 γ。假设我们设置 C 值范围为 [0.1,1,10]， γ值范围为 [0.01,0.1,1]，那么我们要尝试的参数组合一共有 3×3=9种。

2. 穷举组合

网格搜索将所有候选值的组合形成一个“网格”，然后依次训练模型，每次从网格中选择一组参数组合并进行训练和验证。例如，SVM的组合有以下形式：

• (C=0.1,γ=0.01)
• (C=0.1,γ=0.1)
• (C=0.1,γ=1)
• 以此类推，共9种组合。

3. 交叉验证评估

对于每一组参数组合，进行交叉验证（如K折交叉验证）。将数据集划分为K个子集，每次选择一个子集作为验证集，剩下的K-1个子集作为训练集，重复K次，得到K个验证结果的平均值作为此参数组合的性能指标。

4. 选择最佳参数

通过对比所有组合的验证结果，选择表现最佳的超参数组合。例如，如果使用准确率作为评估指标，则选择验证平均准确率最高的参数组合。

优缺点

• 优点：实现简单，能够找到全局最优的参数组合；适合参数空间较小的情况。
• 缺点：计算量大，尤其当参数组合数较多时；网格搜索在高维参数空间中可能效率较低。

代码示例

在Python中，scikit-learn库提供了GridSearchCV来方便地进行网格搜索：

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC

# 定义超参数范围
param_grid = {
    'C': [0.1, 1, 10],
    'gamma': [0.01, 0.1, 1]
}

# 定义模型
svc = SVC()

# 设置网格搜索
grid_search = GridSearchCV(svc, param_grid, cv=5)

# 执行搜索
grid_search.fit(X_train, y_train)

# 输出最佳参数和最佳得分
print("Best parameters:", grid_search.best_params_)
print("Best cross-validation score:", grid_search.best_score_)

适用场景

网格搜索适合对模型有精确超参数调优需求的情况，例如支持向量机、神经网络中的隐藏层数或学习率等。但如果参数较多或参数范围较大，考虑使用随机搜索或贝叶斯优化等更高效的优化方法。