【经验总结】模型训练常见的调参方法

1. 网格搜索

网格搜索调参方法是一种通过穷举地尝试不同的参数组合来找到最佳参数配置的方法。它像是在一个参数的取值范围上布满了网格点，然后逐个尝试每个网格点上的参数组合，最后找到性能最好的参数配置。

1.1 网格搜索调参方法包括以下步骤：

• 确定要调整的参数和其可能的取值范围：首先，需要确定要调整的模型参数以及每个参数可能的取值范围。例如，可以选择调整学习率、正则化参数、决策树的深度等。
• 创建参数组合网格：将每个参数的取值范围组合起来，形成一个参数组合的网格。每个网格点代表一组参数配置。
• 评估模型性能：对于每个参数组合，使用交叉验证或其他评估方法来训练和评估模型的性能。通常使用某个性能指标（如准确率、F1分数等）来衡量模型的好坏。
• 选择最佳参数配置：根据评估指标的结果，选择具有最佳性能的参数配置作为最终的模型参数。

1.2 示例代码

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris

# 加载数据集
X, y = load_iris(return_X_y=True)

# 定义参数空间
param_grid = {
    'C': [0.1, 1, 10],
    'gamma': [0.01, 0.1, 1],
    'kernel': ['linear', 'rbf']
}

# 定义模型和评估指标
model = SVC()
scoring = 'accuracy'

# 使用网格搜索进行参数搜索
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, scoring=scoring, cv=5)
grid_search.fit(X, y)

# 输出最佳参数配置和性能
best_params = grid_search.best_params_
best_score = grid_search.best_score_
print("Best parameters found: ", best_params)
print("Best accuracy found: ", best_score)

运行结果：

Best parameters found:  {'C': 1, 'gamma': 0.01, 'kernel': 'linear'}
Best accuracy found:  0.9800000000000001

2. 随机搜索

随机搜索调参方法是一种通过随机选择参数组合来寻找最佳参数配置的方法。与网格搜索不同，它不需要穷举地尝试所有可能的参数组合，而是随机选择一部分参数组合进行评估。

2.1 随机搜索调参方法包括以下步骤

• 确定要调整的参数和其可能的取值范围：首先，需要确定要调整的模型参数以及每个参数可能的取值范围，就像网格搜索一样。
• 指定搜索次数或搜索空间大小：确定要进行多少次参数尝试或搜索多少个参数组合。这个数量可以根据计算资源和时间预算进行设定。
• 随机选择参数组合：从参数空间中随机选择一组参数配置作为当前的尝试。每个参数的取值可以是均匀分布或根据先验知识进行选择。
• 评估模型性能：对于每个参数组合，使用交叉验证或其他评估方法来训练和评估模型的性能。
• 记录最佳性能和参数配置：根据评估指标的结果，记录具有最佳性能的参数配置。在搜索过程中保留最佳的参数组合，以备后续比较和使用。

2.2 示例代码

1. 示例代码1

from sklearn.model_selection import RandomizedSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from scipy.stats import uniform

# 加载数据集
X, y = load_iris(return_X_y=True)

# 定义参数空间
param_dist = {
    'C': uniform(loc=0.1, scale=10),
    'gamma': uniform(loc=0.01, scale=1),
    'kernel': ['linear', 'rbf']
}

# 定义模型和评估指标
model = SVC()
scoring = 'accuracy'

# 使用随机搜索进行参数搜索
random_search = RandomizedSearchCV(estimator=model, param_distributions=param_dist, n_iter=50, scoring=scoring, cv=5)
random_search.fit(X, y)

# 输出最佳参数配置和性能
best_params = random_search.best_params_
best_score = random_search.best_score_
print("Best parameters found: ", best_params)
print("Best accuracy found: ", best_score)

代码运行结果：

Best parameters found:  {'C': 0.9955934731178205, 'gamma': 0.5857873316084142, 'kernel': 'linear'}
Best accuracy found:  0.9866666666666667

2. 示例代码2

from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import GradientBoostingClassifier
from scipy.stats import uniform

# 定义超参数搜索空间
param_dist = {'learning_rate': uniform(0, 1)}

# 定义模型
model = GradientBoostingClassifier()

# 定义随机搜索
rs = RandomizedSearchCV(model, param_distributions=param_dist, n_iter=100)

# 进行随机搜索训练
rs.fit(X_train, y_train)

# 输出最优参数
print(rs.best_params_)

代码运行结果：

{'learning_rate': 0.24163237536580073}

3. 贝叶斯优化

贝叶斯优化调参方法是一种通过建立概率模型来优化机器学习模型参数的方法。它利用贝叶斯定理，根据已有的参数-性能观察数据，通过不断更新参数的概率分布，来预测最有可能获得最佳性能的参数配置。

3.1 贝叶斯优化调参方法包括以下步骤

• 定义参数空间和目标函数：确定要调整的模型参数以及每个参数可能的取值范围，并定义一个评估模型性能的目标函数。
• 建立高斯过程模型：使用已有的参数-性能观察数据，建立一个高斯过程模型来表示参数和性能之间的关系。高斯过程模型可以估计参数配置的性能，并提供参数配置的不确定性估计。
• 根据高斯过程模型选择下一个参数配置：根据高斯过程模型的预测结果，选择下一个最有可能获得最佳性能的参数配置。这通常使用一种称为"采样函数"的方法来实现，例如使用贝叶斯优化算法中的期望改进算法（Expected Improvement）来选择下一个参数配置。
• 评估目标函数并更新模型：使用选定的参数配置，评估目标函数得到性能结果，并将该参数配置的参数-性能观察数据添加到已有数据中。
• 重复步骤3和步骤4，直到达到预定的停止条件（例如达到最大迭代次数或达到性能要求）。

3.2 示例代码

from skopt import BayesSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris

# 加载数据集
X, y = load_iris(return_X_y=True)

# 定义参数空间
param_space = {
    'C': (0.1, 10.0, 'log-uniform'),
    'gamma': (0.01, 1.0, 'log-uniform'),
    'kernel': ['linear', 'rbf']
}

# 定义目标函数
def objective(params):
    clf = SVC(**params)
    return -np.mean(cross_val_score(clf, X, y, cv=5, n_jobs=-1, scoring='accuracy'))

# 使用贝叶斯优化进行参数搜索
opt = BayesSearchCV(SVC(), param_space, n_iter=50, cv=5)
opt.fit(X, y)

# 输出最佳参数配置和性能
print("Best parameters found: ", opt.best_params_)
print("Best accuracy found: ", -opt.best_score_)

运行代码结果：

Best parameters found:  OrderedDict([('C', 1.624719571789727), ('gamma', 0.2387787530070488), ('kernel', 'rbf')])
Best accuracy found:  -0.9866666666666667

3.3 遇到的问题

1. ModuleNotFoundError: No module named ‘skopt’
   参考 pip install skopt安装显示没有对应版本问题及解决

pip install scikit-optimize