数据处理和分析之分类算法：梯度提升机(GradientBoosting)：梯度提升机的超参数调优

于 2024-10-04 12:00:00 发布
阅读量198 收藏 17
点赞数 11
分类专栏： 数据挖掘 文章标签： 分类 数据挖掘 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_87715305/article/details/142699266
版权

数据处理和分析之分类算法：梯度提升机(GradientBoosting)：梯度提升机的超参数调优

在这里插入图片描述

数据处理和分析之分类算法：梯度提升机 (Gradient Boosting)

梯度提升机简介

梯度提升机的基本原理

梯度提升机（Gradient Boosting Machine, GBM）是一种迭代的决策树算法，用于解决分类和回归问题。其核心思想是通过构建一系列弱学习器（通常是决策树），并以梯度下降的方式逐步优化模型，最终将这些弱学习器组合成一个强学习器。GBM的工作流程如下：

  1. 初始化模型：通常从一个常数开始，作为所有预测的初始值。
  2. 计算残差：对于当前模型的预测，计算残差（即实际值与预测值之间的差异）。
  3. 拟合弱学习器：基于残差拟合一个弱学习器（如决策树）。
  4. 更新模型：将新的弱学习器添加到模型中，通过学习率调整其贡献。
  5. 迭代：重复步骤2至4，直到达到预设的迭代次数或模型收敛。

GBM通过最小化损失函数来优化模型，损失函数的选择取决于问题的类型（如二元交叉熵损失用于二分类问题）。在每次迭代中，GBM实际上是在拟合残差的负梯度，这也是其名称中“梯度”一词的由来。

梯度提升机与随机森林的比较

梯度提升机和随机森林都是基于决策树的集成学习方法，但它们在构建模型的方式上存在显著差异：

  • 随机性：随机森林通过随机选择特征和样本构建多个决策树，而GBM则是通过梯度下降的方式逐步优化模型，每次迭代都基于前一次迭代的残差。
  • 模型构建：随机森林中的树是并行构建的，而GBM中的树是顺序构建的，每棵树都依赖于前一棵树的结果。
  • 预测方式：随机森林的预测是基于所有树的平均预测，而GBM的预测是所有树的累加预测。

示例：使用XGBoost进行梯度提升

下面是一个使用XGBoost库进行梯度提升分类的Python代码示例：

import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
data = load_iris()
X = data.data
y = data.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义XGBoost模型
model = xgb.XGBClassifier(objective='multi:softmax', num_class=3)

# 训练模型
model.fit(X_train, y_train)

# 预测
predictions = model.predict(X_test)

# 打印预测结果
print(predictions)

在这个例子中，我们使用了Iris数据集，这是一个经典的多分类问题。xgb.XGBClassifier是XGBoost库中的分类器，我们通过设置objective='multi:softmax'和num_class=3来指定这是一个多分类问题，目标函数是softmax函数，类别数为3。

梯度提升机的超参数调优

梯度提升机的性能可以通过调整其超参数来优化。以下是一些关键的超参数：

  • n_estimators：模型中弱学习器（通常是决策树）的数量。增加这个值可以提高模型的准确度，但也会增加训练时间。
  • learning_rate：每次迭代中弱学习器的贡献度。较小的学习率可以提高模型的准确度，但需要更多的迭代次数。
  • max_depth：决策树的最大深度。较大的深度可以提高模型的复杂度，但也容易导致过拟合。
  • subsample：每棵树使用的样本比例。减少这个值可以降低过拟合的风险，但可能降低模型的准确度。
  • colsample_bytree：每棵树使用的特征比例。减少这个值可以降低过拟合的风险，但可能降低模型的准确度。

示例：使用GridSearchCV进行超参数调优

下面是一个使用GridSearchCV进行XGBoost超参数调优的Python代码示例：

from sklearn.model_selection import GridSearchCV

# 定义超参数网格
param_grid = {
    'n_estimators': [100, 200, 300],
    'learning_rate': [0.01, 0.1, 0.3],
    'max_depth': [3, 4, 5],
    'subsample': [0.5, 0.8, 1],
    'colsample_bytree': [0.5, 0.8, 1]
}

# 定义XGBoost模型
model = xgb.XGBClassifier(objective='multi:softmax', num_class=3)

# 定义GridSearchCV
grid_search = GridSearchCV(model, param_grid, cv=5, scoring='accuracy')

# 训练模型
grid_search.fit(X_train, y_train)

# 打印最佳参数
print(grid_search.best_params_)

在这个例子中，我们定义了一个超参数网格param_grid，包含了n_estimators、learning_rate、max_depth、subsample和colsample_bytree等关键超参数的不同取值。然后，我们使用GridSearchCV来遍历这个网格，寻找最佳的超参数组合。cv=5表示我们使用5折交叉验证，scoring='accuracy'表示我们使用准确率作为评估指标。

通过上述代码，我们可以找到在Iris数据集上表现最佳的XGBoost模型的超参数组合，从而提高模型的预测性能。

数据处理和分析之分类算法：梯度提升机 (Gradient Boosting) 超参数调优

理解梯度提升机的超参数

学习率(learning_rate)

学习率控制每次迭代中模型更新的幅度。较小的学习率可以提高模型的精度，但会增加训练时间；较大的学习率则可能使模型过快收敛，导致欠拟合。

示例代码
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import GridSearchCV

# 创建梯度提升机模型
gbm = GradientBoostingClassifier()

# 定义超参数网格
param_grid = {'learning_rate': [0.01, 0.1, 0.2, 0.3]}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳学习率
print("最佳学习率: ", grid_search.best_params_['learning_rate'])

树的数量(n_estimators)

树的数量决定了模型的复杂度。增加树的数量可以提高模型的精度，但过多的树可能导致过拟合。

示例代码
# 定义超参数网格
param_grid = {'n_estimators': [50, 100, 200, 300]}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳树的数量
print("最佳树的数量: ", grid_search.best_params_['n_estimators'])

最大深度(max_depth)

树的最大深度限制了树的复杂度。较大的深度可以捕捉更复杂的特征关系，但可能增加过拟合的风险。

示例代码
# 定义超参数网格
param_grid = {'max_depth': [3, 4, 5, 6]}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳最大深度
print("最佳最大深度: ", grid_search.best_params_['max_depth'])

最小样本分割(min_samples_split)

这是节点分裂所需的最小样本数。较小的值可以创建更复杂的树，但可能过拟合；较大的值则可能简化树，导致欠拟合。

示例代码
# 定义超参数网格
param_grid = {'min_samples_split': [2, 5, 10, 20]}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳最小样本分割数
print("最佳最小样本分割数: ", grid_search.best_params_['min_samples_split'])

最小样本叶子(min_samples_leaf)

这是叶子节点上所需的最小样本数。与min_samples_split类似，较小的值可能过拟合，较大的值可能欠拟合。

示例代码
# 定义超参数网格
param_grid = {'min_samples_leaf': [1, 2, 4, 8]}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳最小样本叶子数
print("最佳最小样本叶子数: ", grid_search.best_params_['min_samples_leaf'])

损失函数(loss)

损失函数定义了模型优化的目标。对于分类问题，常见的损失函数有deviance（指数损失）和exponential（对数损失）。

示例代码
# 定义超参数网格
param_grid = {'loss': ['deviance', 'exponential']}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳损失函数
print("最佳损失函数: ", grid_search.best_params_['loss'])

子采样率(subsample)

子采样率控制每棵树训练时使用的样本比例。较小的值可以增加模型的鲁棒性，但可能需要更多的树来达到相同的精度。

示例代码
# 定义超参数网格
param_grid = {'subsample': [0.5, 0.7, 0.8, 1.0]}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳子采样率
print("最佳子采样率: ", grid_search.best_params_['subsample'])

正则化参数(regularization_parameters)

正则化参数包括l1和l2正则化，用于控制模型的复杂度，防止过拟合。

示例代码
# 定义超参数网格
param_grid = {'l1_regularization': [0.0, 0.1, 0.5],
              'l2_regularization': [0.0, 0.1, 0.5]}

# 注意：在sklearn的GradientBoostingClassifier中，正则化参数为`alpha`和`l2_regularization`
# 但`l1_regularization`和`l2_regularization`在某些库中是可用的，如lightgbm
# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳正则化参数
print("最佳L1正则化参数: ", grid_search.best_params_['l1_regularization'])
print("最佳L2正则化参数: ", grid_search.best_params_['l2_regularization'])

综合调优示例

在实际应用中，通常需要同时调整多个超参数。以下是一个综合调优的示例：

# 定义超参数网格
param_grid = {'learning_rate': [0.01, 0.1],
              'n_estimators': [100, 200],
              'max_depth': [3, 5],
              'min_samples_split': [2, 10],
              'min_samples_leaf': [1, 5],
              'loss': ['deviance', 'exponential'],
              'subsample': [0.5, 1.0],
              'l2_regularization': [0.0, 0.1]}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 输出最佳超参数组合
print("最佳超参数组合: ", grid_search.best_params_)

通过上述代码，我们可以找到梯度提升机模型的最佳超参数组合，从而提高模型的性能和泛化能力。在调优过程中，重要的是要平衡模型的复杂度和训练时间，以确保模型既不过拟合也不欠拟合。

数据处理和分析之分类算法：梯度提升机 (Gradient Boosting) 超参数调优

超参数调优方法

网格搜索(GridSearch)介绍

网格搜索是一种系统性的超参数调优方法，它通过构建一个超参数的网格，然后在网格中的每个点上训练和评估模型，以找到最佳的超参数组合。这种方法虽然简单直接，但可能非常耗时，尤其是在超参数空间较大时。

示例代码

假设我们正在使用sklearn的GradientBoostingClassifier，并希望调优learning_rate和n_estimators这两个超参数。

from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import GradientBoostingClassifier

# 加载数据
iris = load_iris()
X = iris.data
y = iris.target

# 定义模型
gb = GradientBoostingClassifier()

# 定义超参数网格
param_grid = {
    'learning_rate': [0.01, 0.1, 1],
    'n_estimators': [100, 200, 300]
}

# 创建网格搜索对象
grid_search = GridSearchCV(gb, param_grid, cv=5)

# 执行网格搜索
grid_search.fit(X, y)

# 输出最佳参数
print("Best parameters found: ", grid_search.best_params_)

在这个例子中，我们定义了一个包含learning_rate和n_estimators的超参数网格。GridSearchCV将遍历所有可能的组合，使用5折交叉验证来评估每个组合的性能，最后返回性能最佳的组合。

随机搜索(RandomizedSearch)介绍

随机搜索与网格搜索类似，但不是遍历所有可能的超参数组合，而是从超参数的分布中随机选择组合进行评估。这种方法在超参数空间较大时，通常比网格搜索更有效率，因为它可以避免评估不重要的超参数组合。

示例代码

使用sklearn的RandomizedSearchCV进行随机搜索，同样以GradientBoostingClassifier为例。

from sklearn.datasets import load_iris
from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import GradientBoostingClassifier
from scipy.stats import uniform

# 加载数据
iris = load_iris()
X = iris.data
y = iris.target

# 定义模型
gb = GradientBoostingClassifier()

# 定义超参数分布
param_dist = {
    'learning_rate': uniform(loc=0.01, scale=0.99),
    'n_estimators': [100, 200, 300, 400, 500]
}

# 创建随机搜索对象
random_search = RandomizedSearchCV(gb, param_dist, n_iter=10, cv=5)

# 执行随机搜索
random_search.fit(X, y)

# 输出最佳参数
print("Best parameters found: ", random_search.best_params_)

在这个例子中，我们使用scipy.stats.uniform来定义learning_rate的分布，然后RandomizedSearchCV将从这个分布中随机选择10个组合进行评估。

贝叶斯优化(BayesianOptimization)介绍

贝叶斯优化是一种基于概率模型的超参数调优方法，它通过构建一个代理模型来预测超参数的性能，然后使用这个模型来指导搜索。这种方法通常比网格搜索和随机搜索更有效，因为它可以更智能地选择要评估的超参数组合。

示例代码

使用BayesianOptimization库进行贝叶斯优化，同样以GradientBoostingClassifier为例。

from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import GradientBoostingClassifier
from bayes_opt import BayesianOptimization

# 加载数据
iris = load_iris()
X = iris.data
y = iris.target

# 定义模型
gb = GradientBoostingClassifier()

# 定义优化函数
def optimize_gb(learning_rate, n_estimators):
    gb.set_params(learning_rate=learning_rate, n_estimators=int(n_estimators))
    return cross_val_score(gb, X, y, cv=5).mean()

# 创建贝叶斯优化对象
optimizer = BayesianOptimization(
    f=optimize_gb,
    pbounds={"learning_rate": (0.01, 1), "n_estimators": (100, 500)},
    random_state=1,
)

# 执行贝叶斯优化
optimizer.maximize(init_points=5, n_iter=10)

# 输出最佳参数
print("Best parameters found: ", optimizer.max['params'])

在这个例子中，我们定义了一个优化函数optimize_gb，它接受超参数作为输入，然后返回模型的平均交叉验证得分。然后我们创建了一个BayesianOptimization对象，并使用它来执行优化。init_points参数定义了随机搜索的初始点数，n_iter参数定义了贝叶斯优化的迭代次数。最后，我们输出了找到的最佳参数组合。

以上三种方法都可以用于梯度提升机的超参数调优，但它们的效率和效果可能会有所不同，具体选择哪种方法，需要根据超参数空间的大小和模型的复杂度来决定。

实践梯度提升机超参数调优

使用sklearn进行网格搜索

网格搜索(Grid Search)是一种系统地调整模型超参数的方法，它通过构建一个超参数的网格，然后在网格中的每个组合上训练和评估模型，从而找到最佳的超参数组合。在梯度提升机中，网格搜索可以用于调整如学习率、树的深度、树的数量等关键超参数。

示例代码

from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import train_test_split

# 加载数据
data = load_iris()
X = data.data
y = data.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义模型
gbm = GradientBoostingClassifier(random_state=42)

# 定义超参数网格
param_grid = {
    'learning_rate': [0.01, 0.1, 0.5],
    'max_depth': [3, 5, 7],
    'n_estimators': [50, 100, 200]
}

# 创建网格搜索对象
grid_search = GridSearchCV(gbm, param_grid, cv=5, scoring='accuracy')

# 拟合模型
grid_search.fit(X_train, y_train)

# 输出最佳参数
print("Best parameters found: ", grid_search.best_params_)

解释

在上述代码中，我们首先加载了Iris数据集并将其划分为训练集和测试集。然后，我们定义了一个梯度提升机模型，并创建了一个包含学习率、树的最大深度和树的数量的超参数网格。通过GridSearchCV对象，我们执行了5折交叉验证，并使用准确性作为评估指标。最后，我们输出了找到的最佳超参数组合。

使用sklearn进行随机搜索

随机搜索(Randomized Search)与网格搜索类似，但不是尝试所有可能的超参数组合，而是随机选择一定数量的组合进行评估。这种方法在超参数空间较大时更为高效。

示例代码

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform, randint

# 定义超参数分布
param_dist = {
    'learning_rate': uniform(loc=0.01, scale=0.5),
    'max_depth': randint(3, 10),
    'n_estimators': randint(50, 250)
}

# 创建随机搜索对象
random_search = RandomizedSearchCV(gbm, param_distributions=param_dist, n_iter=10, cv=5, scoring='accuracy', random_state=42)

# 拟合模型
random_search.fit(X_train, y_train)

# 输出最佳参数
print("Best parameters found: ", random_search.best_params_)

解释

在这个例子中，我们使用了RandomizedSearchCV，并定义了超参数的分布。uniform和randint函数用于指定学习率和树深度的随机分布。我们设置了10次迭代，意味着将随机选择10组超参数进行评估。最后，我们输出了找到的最佳超参数组合。

使用BayesianOptimization库进行调优

贝叶斯优化(Bayesian Optimization)是一种基于概率模型的超参数优化方法，它通过构建一个代理模型来预测超参数的效果，从而更高效地搜索超参数空间。

示例代码

from bayes_opt import BayesianOptimization
from sklearn.metrics import accuracy_score

# 定义优化函数
def gbm_evaluate(learning_rate, max_depth, n_estimators):
    gbm = GradientBoostingClassifier(learning_rate=learning_rate, max_depth=int(max_depth), n_estimators=int(n_estimators), random_state=42)
    gbm.fit(X_train, y_train)
    y_pred = gbm.predict(X_test)
    return accuracy_score(y_test, y_pred)

# 创建贝叶斯优化对象
gbm_bo = BayesianOptimization(
    f=gbm_evaluate,
    pbounds={"learning_rate": (0.01, 0.5), "max_depth": (3, 10), "n_estimators": (50, 250)},
    random_state=42,
    verbose=2
)

# 进行优化
gbm_bo.maximize(init_points=5, n_iter=10)

# 输出最佳参数
print("Best parameters found: ", gbm_bo.max['params'])

解释

在贝叶斯优化的例子中，我们定义了一个评估函数gbm_evaluate，该函数接受超参数作为输入，并返回模型在测试集上的准确性。然后，我们创建了一个BayesianOptimization对象，并指定了超参数的边界。通过调用maximize方法，我们初始化了5个点，并进行了10次迭代来优化超参数。最后，我们输出了找到的最佳超参数组合。

以上三种方法都可以有效地用于梯度提升机的超参数调优，选择哪种方法取决于超参数空间的大小和计算资源的限制。网格搜索在小空间中表现良好，随机搜索适用于中等大小的空间，而贝叶斯优化则在大空间中更为高效。

数据处理和分析之分类算法：梯度提升机 (Gradient Boosting)：评估和选择最佳模型

交叉验证(CrossValidation)的重要性

交叉验证是一种评估模型性能的统计学方法，尤其在数据集较小的情况下，能够更准确地估计模型的泛化能力。在梯度提升机（Gradient Boosting）中，交叉验证可以帮助我们避免过拟合，通过将数据集分为训练集和验证集的多个子集，从而获得模型性能的稳定估计。

示例代码

假设我们使用sklearn库中的GradientBoostingClassifier和GridSearchCV来进行交叉验证和超参数调优。

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
iris = load_iris()
X = iris.data
y = iris.target

# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义模型
gb_clf = GradientBoostingClassifier(random_state=42)

# 定义超参数网格
param_grid = {
    'n_estimators': [50, 100, 150],
    'learning_rate': [0.01, 0.1, 1],
    'max_depth': [3, 5, 7],
    'min_samples_split': [2, 5, 10]
}

# 使用GridSearchCV进行交叉验证和超参数调优
grid_search = GridSearchCV(gb_clf, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最佳参数组合
print("Best parameters found: ", grid_search.best_params_)

在这个例子中，我们使用了Iris数据集，这是一个常见的分类问题数据集。我们定义了一个超参数网格，包括n_estimators（树的数量）、learning_rate（学习率）、max_depth（树的最大深度）和min_samples_split（节点分裂所需的最小样本数）。通过GridSearchCV，我们可以在这些超参数的不同组合上执行交叉验证，找到最佳的参数组合。

模型评估指标

在梯度提升机中，选择正确的评估指标对于模型的性能至关重要。常见的评估指标包括：

  • 准确率（Accuracy）：分类正确的样本数占总样本数的比例。
  • 精确率（Precision）：预测为正类的样本中，实际为正类的比例。
  • 召回率（Recall）：实际为正类的样本中，被预测为正类的比例。
  • F1分数（F1 Score）：精确率和召回率的调和平均数，适用于不平衡数据集。
  • AUC-ROC：接收者操作特征曲线下的面积，用于评估模型区分正负类的能力。

示例代码

使用sklearn.metrics中的classification_report和roc_auc_score来评估模型性能。

from sklearn.metrics import classification_report, roc_auc_score

# 使用最佳参数训练模型
best_gb_clf = GradientBoostingClassifier(**grid_search.best_params_, random_state=42)
best_gb_clf.fit(X_train, y_train)

# 预测
y_pred = best_gb_clf.predict(X_test)
y_pred_proba = best_gb_clf.predict_proba(X_test)[:, 1]

# 输出分类报告
print(classification_report(y_test, y_pred))

# 输出AUC-ROC分数
print("AUC-ROC score: ", roc_auc_score(y_test, y_pred_proba))

在这个例子中，我们首先使用通过交叉验证找到的最佳参数来训练模型。然后，我们使用classification_report来输出模型的准确率、精确率、召回率和F1分数。对于AUC-ROC分数，我们使用roc_auc_score，但需要注意的是，对于多分类问题，我们可能需要调整代码以正确计算AUC-ROC。

选择最佳超参数组合

选择最佳超参数组合是梯度提升机模型优化的关键步骤。通过交叉验证和不同的评估指标，我们可以找到在验证集上表现最佳的参数组合。然而，超参数调优是一个耗时的过程，可能需要大量的计算资源。因此，合理地设置超参数网格和选择评估指标是至关重要的。

示例代码

在GridSearchCV中，我们可以通过设置param_grid来控制超参数的搜索范围。此外，我们可以通过设置scoring参数来指定评估指标，例如，使用'accuracy'、'f1'或'roc_auc'。

# 定义更详细的超参数网格
param_grid_detailed = {
    'n_estimators': [50, 100, 150, 200],
    'learning_rate': [0.01, 0.05, 0.1, 0.5],
    'max_depth': [3, 5, 7, 9],
    'min_samples_split': [2, 5, 10, 15]
}

# 使用GridSearchCV进行更详细的超参数调优
grid_search_detailed = GridSearchCV(gb_clf, param_grid_detailed, cv=5, scoring='f1')
grid_search_detailed.fit(X_train, y_train)

# 输出最佳参数组合
print("Best parameters found: ", grid_search_detailed.best_params_)

在这个更详细的示例中，我们扩展了超参数网格，包括了更多的参数值。我们还使用了F1分数作为评估指标，这在处理不平衡数据集时可能更为合适。通过这种方式，我们可以更精细地调整模型，以获得更好的性能。

通过上述步骤，我们可以有效地评估和选择梯度提升机的最佳模型，确保模型不仅在训练数据上表现良好，而且在未见过的数据上也具有强大的泛化能力。

梯度提升机超参数调优的高级技巧

自动调优工具的使用

在梯度提升机（Gradient Boosting Machine, GBM）的超参数调优过程中，手动调整超参数既耗时又效率低下。自动调优工具，如GridSearchCV和RandomizedSearchCV，可以系统地探索超参数空间，找到最佳的参数组合。下面以GridSearchCV为例，展示如何使用它来调优GBM的超参数。

示例代码

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 加载数据
data = load_iris()
X = data.data
y = data.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义GBM模型
gbm = GradientBoostingClassifier(random_state=42)

# 定义超参数网格
param_grid = {
    'n_estimators': [100, 200, 300],
    'learning_rate': [0.01, 0.1, 1],
    'max_depth': [3, 5, 7],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最佳参数
best_params = grid_search.best_params_
print("Best parameters found: ", best_params)

# 使用最佳参数在测试集上评估模型
best_model = grid_search.best_estimator_
score = best_model.score(X_test, y_test)
print("Test accuracy: ", score)

代码解释

  1. 加载数据：使用sklearn.datasets中的load_iris函数加载鸢尾花数据集。
  2. 划分数据集：将数据集划分为训练集和测试集，其中测试集占20%。
  3. 定义模型：创建一个GradientBoostingClassifier实例。
  4. 定义超参数网格：设置一个包含多个超参数值的字典，如n_estimators（树的数量）、learning_rate（学习率）、max_depth（树的最大深度）等。
  5. 使用GridSearchCV：创建一个GridSearchCV实例，传入模型和超参数网格，通过交叉验证（cv=5）和准确率（scoring='accuracy'）来评估模型。
  6. 调优和评估：GridSearchCV自动在训练集上进行调优，找到最佳参数组合，并使用这些参数在测试集上评估模型的性能。

超参数之间的相互作用

梯度提升机的超参数并非独立工作，它们之间存在相互作用，影响模型的性能。例如，n_estimators（树的数量）和learning_rate（学习率）通常需要一起调整。增加树的数量可以提高模型的准确率，但同时可能会导致过拟合。降低学习率可以减少每次迭代的影响，从而需要更多的树来达到相同的性能，但模型的泛化能力可能更好。

示例代码

# 定义超参数网格，注意n_estimators和learning_rate的组合
param_grid = {
    'n_estimators': [100, 200, 300],
    'learning_rate': [0.01, 0.1, 1],
    'max_depth': [3],
    'min_samples_split': [2],
    'min_samples_leaf': [1]
}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最佳参数
best_params = grid_search.best_params_
print("Best parameters found: ", best_params)

代码解释

在这个例子中，我们只关注n_estimators和learning_rate的组合，而保持其他超参数不变。通过观察不同组合下的模型性能，可以理解这两个超参数如何相互作用，影响模型的训练速度和泛化能力。

避免过拟合的策略

梯度提升机容易过拟合，特别是在数据集较小或特征较多的情况下。以下是一些避免过拟合的策略：

  • 限制树的深度：通过设置max_depth来限制每棵树的复杂度。
  • 增加正则化：使用subsample（随机采样比例）和max_features（最大特征数）来增加模型的正则化。
  • 早停：通过设置n_iter_no_change来实现早停，即在验证集上性能不再提高时停止训练。

示例代码

# 定义超参数网格，包括正则化参数
param_grid = {
    'n_estimators': [100, 200],
    'learning_rate': [0.01, 0.1],
    'max_depth': [3, 5],
    'subsample': [0.8, 1.0],
    'max_features': ['auto', 'sqrt', 'log2']
}

# 使用GridSearchCV进行超参数调优
grid_search = GridSearchCV(gbm, param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最佳参数
best_params = grid_search.best_params_
print("Best parameters found: ", best_params)

# 使用最佳参数在测试集上评估模型
best_model = grid_search.best_estimator_
score = best_model.score(X_test, y_test)
print("Test accuracy: ", score)

代码解释

在这个例子中，我们引入了subsample和max_features来增加模型的正则化。subsample控制每棵树训练时使用的样本比例，而max_features控制每棵树考虑的特征数量。通过调整这些参数，可以有效地减少模型的复杂度，避免过拟合。

通过上述高级技巧，可以更有效地调优梯度提升机的超参数，提高模型的性能和泛化能力。在实际应用中，根据数据集的特点和问题的复杂度，可能需要尝试不同的策略和工具，以找到最适合的超参数组合。

kkchenkx
关注
专栏目录
【机器学习】必会算法之：梯度提升机（GBM）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
04-10 2246
集成学习算法之 GBM
机器学习分类算法之LightGBM（梯度提升框架）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
02-17 4147
目录 走进LightGBM 什么是LightGBM？ XGBoost的缺点 LightGBM的优化 LightGBM的基本原理 Histogram 算法 直方图加速　 LightGBM并行优化 代码实践 参数详解 ​ 代码实操 最优模型及参数（数据集1000） 模型调参 每文一语 走进LightGBM 什么是LightGBM？ 在上一篇的文章里，我介绍了XGBoost算法，它是是很多的比赛的大杀器，但是在使用过程中，其训练耗时很长，内存占用比较大。 在2017年年..
算法——梯度提升机（Gradient Boosting Machines, GBM）
weixin_43156294的博客
05-05 1118
梯度提升机凭借其强大的预测能力、良好的模型解释性和丰富的调参空间，在众多领域展现了广泛的应用潜力和价值。随着算法理论的持续进步和计算资源的日益充沛，GBM及其衍生技术将持续推动数据分析和人工智能领域的边界拓展，为企业决策和科学研究提供更为精确、高效的支持。
梯度提升机（Gradient Boosting Machine）之 LightGBM
士杰的博客
05-16 1万+
随着大数据时代的到来，GBDT正面临着新的挑战，特别是在精度和效率之间的权衡方面。传统的GBDT实现需要对每个特征扫描所有数据实例，以估计所有可能的分割点的信息增益。因此，它们的计算复杂度将与特征数和实例数成正比。这使得这些实现在处理大数据时非常耗时。直接的想法是减少样本数据量和特征数。LightGBM 针对这两种操作提出来两个方法： 基于梯度的单边采样（Gradient-based One-Side Sampling (GOSS)）：当对样本进行采样时，为了保持信息增益估计的准确性，应该更好地保留那些
Python实现GBDT(梯度提升树)分类模型(GradientBoostingClassifier算法)并应用网格搜索算法寻找最优参数项目实战
张陈亚的博客
10-16 7151
Python实现GBDT(梯度提升树)分类模型(GradientBoostingClassifier算法)并应用网格搜索算法寻找最优参数项目实战
【机器学习】揭秘GBDT：梯度提升决策树
2301_76820214的博客
09-23 3116
GBDT，全称为Gradient Boosting Decision Tree，即梯度提升决策树，是一种迭代的决策树算法，也被称作MART（Multiple Additive Regression Tree）。它通过将多个决策树（弱学习器）的结果进行累加来得到最终的预测输出，是集成学习算法的一种，具体属于Boosting类型。
机器学习实战：Python基于GBM梯度提升机进行预测（十四）
Senoh的博客
07-25 2378
梯度提升机（，简称GBM）是一种强大的机器学习算法，它是集成学习的一种形式。GBM在解决分类和回归问题上表现优异，是数据科学领域中常用的算法之一。GBM通过组合多个弱学习器（通常是决策树）来构建一个强大的预测模型。训练过程采用梯度提升技术，逐步改进模型的预测能力。每一轮迭代中，新的弱学习器被训练来纠正前一轮模型的错误，以尽可能减少模型对数据的残差。最终，所有弱学习器的结果加权融合，得到最终的预测结果。优点高预测准确性：GBM在许多数据集上表现出色，通常可以获得较高的预测准确性。
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 19万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
【MATLAB】使用梯度提升树在回归预测任务中进行特征选择（深度学习的数据集处理）
Deng7326的博客
02-06 1961
用科学、合理的方法去除掉数据集中不需要的特征。常用在回归预测任务的数据集处理中。
pyspark分类算法之梯度提升决策树分类器模型GBDT实践【gradientBoostedTreeClassifier】
Together_CZ的博客
06-21 2543
本文紧接上文的随机森林分类器模型，实践的同样是分类算法模型，随机森林模型和GBDT模型是机器学习领域里面非常重要的两种集成学习模型，两种模型虽然均采用了集成策略来进一步提升基分类器模型的性能，但是本质上是有区别的，前者采用并行的训练方式，后者采用的是串行的训练方式。 同样，下面贴一下自己学习pyspark以来的记录笔记，具体如下： pyspark顾名思...
人工智能和机器学习之分类算法：梯度提升机（GBM）：超参数调优：学习率与树的深度.docx
08-29
人工智能和机器学习之分类算法：梯度提升机（GBM）：超参数调优：学习率与树的深度.docx
人工智能和机器学习之分类算法：梯度提升机（GBM）：梯度提升机（GBM）原理与基础.docx
08-29
人工智能和机器学习之分类算法：梯度提升机（GBM）：梯度提升机（GBM）原理与基础.docx
人工智能和机器学习之分类算法：梯度提升机（GBM）：梯度提升机的过拟合与欠拟合问题.docx
08-29
人工智能和机器学习之分类算法：梯度提升机（GBM）：梯度提升机的过拟合与欠拟合问题.docx
人工智能和机器学习之分类算法：梯度提升机（GBM）：梯度提升机在实际项目中的部署与实践.docx
08-29
人工智能和机器学习之分类算法：梯度提升机（GBM）：梯度提升机在实际项目中的部署与实践.docx
人工智能和机器学习之分类算法：梯度提升机（GBM）：监督学习与分类算法.docx
08-29
人工智能和机器学习之分类算法：梯度提升机（GBM）：监督学习与分类算法.docx
【机器学习(八)】分类和回归任务-因子分解机(Factorization Machines,FM)-Sentosa_DSML社区版
weixin_45141860的博客
09-29 988
相比传统代码方式，利用Sentosa_DSML社区版完成机器学习算法的流程更加高效和自动化，传统方式需要手动编写大量代码来处理数据清洗、特征工程、模型训练与评估，而在Sentosa_DSML社区版中，这些步骤可以通过可视化界面、预构建模块和自动化流程来简化，有效的降低了技术门槛，非专业开发者也能通过拖拽和配置的方式开发应用，减少了对专业开发人员的依赖。
yolov8/9/11模型在中医舌苔分类中的应用【代码+数据集+python环境+GUI系统】
最新发布
qz1992的专栏
10-03 696
传统中医的舌诊主要依赖于医生的肉眼观察，仅仅通过这种人工诊断不但需要消耗大量人力，而且诊断的结果往往受医生经验和主观判断影响，甚至受到周围客观环境的影响（如：光照、温度等）[1]，通过10位中医专家对两百多例患者进行舌象诊断，发现仅仅有9例相同，为了减少主观判断和客观环境的影响，利用现代计算机技术结合传统中医的理论和中医专家的经验，使中医的舌诊客观化、数字化成为了目前十分热门研究方向。为了方便使用本代码，将python的虚拟环境一并附带在压缩包内，运行对应的Windows的bat脚本可以执行对应的代码。
【机器学习】任务六：分类算法（支持向量机（SVM）在线性可分与不可分数据中的应用与可视化分析）
FHY26828的博客
09-30 1575
最佳模型：SVM 在垃圾短信分类任务中表现最好，具有最高的准确率和较高的精确率和召回率。其他模型：朴素贝叶斯和决策树模型的表现也不错，但相较于 SVM，分类的准确度略有不足，尤其是在垃圾短信的识别方面。
ST-GCN模型实现花样滑冰动作分类
深度学习实战训练营，一起交流探索深度学习
09-27 1160
时空图卷积网络（ST-GCN）的引入：模型利用ST-GCN对花样滑冰动作进行分类。ST-GCN的优势在于其对人体骨骼关键点的时空动态进行有效建模，这使得模型能够捕捉动作的空间结构和时序特征。相比于传统的卷积神经网络（CNN），该模型能够更加准确地分析和分类人体复杂的运动轨迹，尤其是在花样滑冰这种高难度的体育项目中。轻量化的网络结构设计：模型采用了简洁的网络结构，通过少量卷积核来实现动作分类，保持了较高的计算效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值