GBDT调参优化

已于 2022-12-31 18:22:47 修改
阅读量7.7k 收藏 78
点赞数 13
分类专栏： 机器学习
于 2020-07-22 14:21:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andy_shenzl/article/details/107512628
版权

1、scikit-learn GBDT类库概述

在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相同。这些参数中，类似于Adaboost，我们把重要参数分为两类，第一类是Boosting框架的重要参数，第二类是弱学习器即CART回归树的重要参数。

2、boosting框架参数

GradientBoostingClassifier和GradientBoostingRegressor的参数绝大部分相同

  1. n_estimators: 也就是弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。默认是100。在实际调参的过程中，我们常常将n_estimators和下面介绍的参数learning_rate一起考虑。

  2. learning_rate: 即每个弱学习器的权重缩减系数𝜈，也称作步长，我们的强学习器的迭代公式为𝑓𝑘(𝑥)=𝑓𝑘−1(𝑥)+𝜈ℎ𝑘(𝑥)。𝜈的取值范围为0<𝜈≤1。对于同样的训练集拟合效果，较小的𝜈意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。所以这两个参数n_estimators和learning_rate要一起调参。一般来说，可以从一个小一点的𝜈开始调参，默认是1。

  3. subsample: 子采样，取值为(0,1]。注意这里的子采样和随机森林不一样，随机森林使用的是放回抽样，而这里是不放回抽样。如果取值为1，则全部样本都使用，等于没有使用子采样。如果取值小于1，则只有一部分样本会去做GBDT的决策树拟合。选择小于1的比例可以减少方差，即防止过拟合，但是会增加样本拟合的偏差，因此取值不能太低。推荐在[0.5, 0.8]之间，默认是1.0，即不使用子采样。

  4. init: 即我们的初始化的时候的弱学习器，拟合对应原理篇里面的𝑓0(𝑥)，如果不输入，则用训练集样本来做样本集的初始化分类回归预测。否则用init参数提供的学习器做初始化分类回归预测。一般用在我们对数据有先验知识，或者之前做过一些拟合的时候，如果没有的话就不用管这个参数了。

  5. loss: 即我们GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的。
    对于分类模型，有对数似然损失函数"deviance"和指数损失函数"exponential"两者输入选择。默认是对数似然损失函数"deviance"。一般来说，推荐使用默认的"deviance"。它对二元分离和多元分类各自都有比较好的优化。而指数损失函数等于把我们带到了Adaboost算法。
    对于回归模型，有均方差"ls", 绝对损失"lad", Huber损失"huber"和分位数损失“quantile”。默认是均方差"ls"。一般来说，如果数据的噪音点不多，用默认的均方差"ls"比较好。如果是噪音点较多，则推荐用抗噪音的损失函数"huber"。而如果我们需要对训练集进行分段预测的时候，则采用“quantile”。

  6. alpha：这个参数只有GradientBoostingRegressor有，当我们使用Huber损失"huber"和分位数损失“quantile”时，需要指定分位数的值。默认是0.9，如果噪音点较多，可以适当降低这个分位数的值。

3、弱学习器参数

由于GBDT使用了CART回归决策树，因此它的参数基本来源于决策树类，也就是说，和DecisionTreeClassifier和DecisionTreeRegressor的参数基本类似。

  1. 划分时考虑的最大特征数max_features: 可以使用很多种类型的值，默认是"None",意味着划分时考虑所有的特征数；如果是"log2"意味着划分时最多考虑𝑙𝑜𝑔2𝑁个特征；如果是"sqrt"或者"auto"意味着划分时最多考虑𝑁‾‾√个特征。如果是整数，代表考虑的特征绝对数。如果是浮点数，代表考虑特征百分比，即考虑（百分比xN）取整后的特征数。其中N为样本总特征数。一般来说，如果样本特征数不多，比如小于50，我们用默认的"None"就可以了，如果特征数非常多，我们可以灵活使用刚才描述的其他取值来控制划分时考虑的最大特征数，以控制决策树的生成时间。

  2. 决策树最大深度max_depth: 默认可以不输入，如果不输入的话，默认值是3。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间。

  3. 内部节点再划分所需最小样本数min_samples_split: 这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。 默认是2.如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

  4. 叶子节点最少样本数min_samples_leaf: 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数，或者最少样本数占样本总数的百分比。如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

  5. 叶子节点最小的样本权重和min_weight_fraction_leaf：这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝。 默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。

  6. 最大叶子节点数max_leaf_nodes: 通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑这个值，但是如果特征分成多的话，可以加以限制，具体的值可以通过交叉验证得到。

  7. 节点划分最小不纯度min_impurity_split: 这个值限制了决策树的增长，如果某节点的不纯度(基于基尼系数，均方差)小于这个阈值，则该节点不再生成子节点。即为叶子节点 。一般不推荐改动默认值1e-7。

4、调参实例

数据导入

使用糖尿病数据集

#数据读取
train = pd.read_csv("/Users/admin/Desktop/database/diabetes/diabetes_train.txt",header=None,index_col=False)
test = pd.read_csv("/Users/admin/Desktop/database/diabetes/diabetes_test.txt",header=None,index_col=False)

#格式转换
label = train.loc[:,[8]]
data = train.drop(columns=8)

y_test =  test.loc[:,[8]]
X_test =  test.drop(columns=8)
默认参数

首先我们使用默认的参数训练

gbdt0 = GradientBoostingClassifier(random_state=10)
gbdt0.fit(data,label)
y_pred = gbdt0.predict(X_test)
y_predprob = gbdt0.predict_proba(X_test)[:,1]
print( "Accuracy : %.4g" % metrics.accuracy_score(y_test.values, y_pred))
print ("AUC Score (test): %f" % metrics.roc_auc_score(y_test, y_predprob))

Accuracy : 0.8097
AUC Score (test): 0.867557

迭代次数(n_estimators)

先调整迭代次数，学习率设定为0.1

from sklearn.model_selection import GridSearchCV
param_test1 = {'n_estimators':range(20,200,10)}
gsearch1 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, min_samples_split=300,
                                  min_samples_leaf=20,max_depth=8,max_features='sqrt', subsample=0.8,random_state=10), 
                       param_grid = param_test1, scoring='roc_auc',iid=False,cv=5)
gsearch1.fit(data,label)

means = gsearch1.cv_results_['mean_test_score']
params = gsearch1.cv_results_['params']
for mean,param in zip(means,params):
    print("%f  with:   %r" % (mean,param))
print(gsearch1.best_params_,gsearch1.best_score_)

0.789255 with: {‘n_estimators’: 20}
0.797736 with: {‘n_estimators’: 30}
0.795466 with: {‘n_estimators’: 40}
0.804512 with: {‘n_estimators’: 50}
0.804643 with: {‘n_estimators’: 60}
0.807024 with: {‘n_estimators’: 70}
0.811886 with: {‘n_estimators’: 80}
0.811121 with: {‘n_estimators’: 90}
0.811558 with: {‘n_estimators’: 100}
0.808357 with: {‘n_estimators’: 110}
0.807665 with: {‘n_estimators’: 120}
0.805507 with: {‘n_estimators’: 130}
0.806641 with: {‘n_estimators’: 140}
0.805937 with: {‘n_estimators’: 150}
0.804817 with: {‘n_estimators’: 160}
0.805599 with: {‘n_estimators’: 170}
0.804476 with: {‘n_estimators’: 180}
0.802489 with: {‘n_estimators’: 190}
{‘n_estimators’: 80} 0.8118863282925781

我们发现迭代次数最好的是80次。

对决策树最大深度和内部节点再划分所需最小样本数进行网格搜索
param_test2 = {'max_depth':range(2,3,1), 'min_samples_split':range(80,100,1)}
gsearch2 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=80, min_samples_leaf=20, 
      max_features='sqrt', subsample=0.8, random_state=10), 
   param_grid = param_test2, scoring='roc_auc',iid=False, cv=5)
gsearch2.fit(data,label)

means = gsearch2.cv_results_['mean_test_score']
params = gsearch2.cv_results_['params']
for mean,param in zip(means,params):
    print("%f  with:   %r" % (mean,param))
print(gsearch2.best_params_,gsearch2.best_score_)

{‘max_depth’: 2, ‘min_samples_split’: 95} 0.8046429241741742

由于决策树深度2是一个比较合理的值，我们把它定下来，对于内部节点再划分所需最小样本数min_samples_split，我们暂时不能一起定下来，因为这个还和决策树其他的参数存在关联。下面我们再对内部节点再划分所需最小样本数min_samples_split和叶子节点最少样本数min_samples_leaf一起调参。

内部节点再划分所需最小样本数&叶子节点最少样本数

内部节点再划分所需最小样本数min_samples_split和叶子节点最少样本数min_samples_leaf一起调参

param_test3 = {'min_samples_split':range(30,200,20), 'min_samples_leaf':range(20,101,10)}
gsearch3 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=80,max_depth=2,
                                     max_features='sqrt', subsample=0.8, random_state=10), 
                       param_grid = param_test3, scoring='roc_auc',iid=False, cv=5)
gsearch3.fit(data,label)

means = gsearch3.cv_results_['mean_test_score']
params = gsearch3.cv_results_['params']
for mean,param in zip(means,params):
    print("%f  with:   %r" % (mean,param))
print(gsearch3.best_params_,gsearch3.best_score_)

({‘min_samples_leaf’: 40, ‘min_samples_split’: 170},0.8027342074217074)

验证1

把上面的参数都放到GBDT类里面去看看效果

gbdt1 = GradientBoostingClassifier(learning_rate=0.1, n_estimators=80,max_depth=2, min_samples_leaf =40, 
               min_samples_split =170, max_features='sqrt', subsample=0.8, random_state=10)
               
gbdt1.fit(data,label)
y_pred = gbdt1.predict(X_test)
y_predprob = gbdt1.predict_proba(X_test)[:,1]
print( "Accuracy : %.4g" % metrics.accuracy_score(y_test.values, y_pred))
print ("AUC Score (test): %f" % metrics.roc_auc_score(y_test, y_predprob))

Accuracy : 0.8097
AUC Score (test): 0.887682

最大特征数max_features
param_test4 = {'max_features':range(1,8,1)}
gsearch4 = GridSearchCV(estimator = GradientBoostingClassifier(learning_rate=0.1, n_estimators=80,max_depth=2, min_samples_leaf =40, 
               min_samples_split =170, subsample=0.8, random_state=10), 
                       param_grid = param_test4, scoring='roc_auc',iid=False, cv=5)
gsearch4.fit(data,label)
means = gsearch4.cv_results_['mean_test_score']
params = gsearch4.cv_results_['params']
for mean,param in zip(means,params):
    print("%f  with:   %r" % (mean,param))
(gsearch4.best_params_,gsearch3.best_score_)

({‘max_features’: 2}, 0.8027342074217074)

最大特征数是2

步长/学习率
param_test5 = {'learning_rate':(0.1,0.05,0.01,0.005,0.0001)}
gsearch5 = GridSearchCV(estimator = GradientBoostingClassifier( n_estimators=80,max_depth=2, min_samples_leaf =40, 
               min_samples_split =170, subsample=0.8, random_state=10,max_features=2), 
                       param_grid = param_test5, scoring='roc_auc',iid=False, cv=5)
gsearch5.fit(data,label)
means = gsearch5.cv_results_['mean_test_score']
params = gsearch5.cv_results_['params']
for mean,param in zip(means,params):
    print("%f  with:   %r" % (mean,param))
(gsearch5.best_params_,gsearch5.best_score_)

({‘learning_rate’: 0.05}, 0.8071411813599314)
最好的学习率为0.05

最终测试
gbdt2 = GradientBoostingClassifier(learning_rate=0.05, n_estimators=80,max_depth=2, min_samples_leaf =40, 
               min_samples_split =170, subsample=0.8, random_state=10,max_features=2)
gbdt2.fit(data,label)
y_pred = gbdt2.predict(X_test)
y_predprob = gbdt2.predict_proba(X_test)[:,1]
print( "Accuracy : %.4g" % metrics.accuracy_score(y_test.values, y_pred))
print ("AUC Score (test): %f" % metrics.roc_auc_score(y_test, y_predprob))

Accuracy : 0.8134
AUC Score (test): 0.884935

参考

scikit-learn 梯度提升树(GBDT)调参小结
weixin_33811539的博客
12-09 2140
　　　　在梯度提升树(GBDT)原理小结中，我们对GBDT的原理做了总结，本文我们就从scikit-learn里GBDT的类库使用方法作一个总结，主要会关注调参中的一些要点。 1. scikit-learn GBDT类库概述 　　　　在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBD...
GBDT调参指南
weixin_34221036的博客
05-27 3566
GBDT分类器和回归器的大部分参数都是相同的，除了损失函数的选项有些不同，因此下面我们统一说明各个参数的意义以及在什么情境下做什么调整方法。 一、GBDT的boosting框架参数 1.n_estimators:代表弱学习器的最大个数，即最多训练多少棵树。这个值过大导致过拟合，过小导致欠拟合.默认值为100. 2.learning_rate：每个弱学习器都有一个权重参数，默认值0.1，取值范围0-...
ADABOOST、GBDT、RF调参
kylin_learn的博客
08-29 1910
https://www.cnblogs.com/pinard/p/6136914.html----adaboost https://www.cnblogs.com/pinard/p/6143927.html----GBDT https://www.cnblogs.com/pinard/p/6160412.html----RF  
搜广推校招面经二十七
最新发布
Y1n的博客
02-23 1408
爬楼梯+GBDTvsBoosting
GBDT的参数空间与超参数优化
weixin_60200880的博客
07-27 2216
在随机森林中，我们总是在意模型复杂度(max_depth)与模型整体学习能力(n_estimators)的平衡，单一弱评估器的复杂度越大，单一弱评估器对模型的整体贡献就越大，因此需要的树数量就越少。在Boosting算法当中，单一弱评估器对整体算法的贡献由学习率参数learning_rate控制，代替了弱评估器复杂度的地位，因此Boosting算法中我们寻找的是learning_rate与n_estimators的平衡。
GBDT参数调优
热门推荐
hhy518518的专栏
02-10 2万+
摘要： 此处主要是如何利用xgboost以及如何进行Xgboost调参，特征工程处理的比较简单。 特征工程： City这个变量已经被我舍弃了，因为有太多种类了。DOB转为Age|DOB,舍弃了DOB创建了EMI_Loan_Submitted_Missing这个变量，当EMI_Loan_Submitted 变量值缺失时它的值为1，否则为0。然后舍弃了EMI_Loan_Submi
GBDT调参
suv1234的博客
05-21 1858
1.根据要解决的问题选择损失函数 2.n_estimators尽可能大（如3000） 3.通过grid search方法对max_depth, learning_rate, min_samples_leaf, 及max_features进行寻优 4.增加n_estimators，保持其它参数不变，再次对learning_rate调优
scikit-learn梯度提升树（GBDT）算法详解与调参技巧
09-22
并通过实例展示了如何利用网格搜索技术优化损失参数提高回归模型精确度，适用于希望深入了解GBDT并能熟练应用于实际项目的研究者和技术人员。 适用人群：熟悉基本机器学习算法且希望深入理解和优化GBDT的研究人员与...
Python实现GBDT（参数介绍；调用；调参）
数据之旅的点点滴滴
02-28 1万+
GBDT（Gradient Boosting Decision Tree），每一次建立树模型是在之前建立模型损失函数的梯度下降方向，即利用了损失函数的负梯度在当前模型的值作为回归问题提升树算法的残差近似值，去拟合一个回归树。GBDT应用有回归和分类：GBDT分类每一颗树拟合当前整个模型的损失函数的负梯度，构建新的树加到当前模型中形成新模型，下一棵树拟合新模型的损失函数的负梯度；GBDT回归每一颗树...
GBDT优化调参案例python
04-04
以下是一个GBDT优化调参案例的Python代码示例： ```python import pandas as pd from sklearn.ensemble import GradientBoostingRegressor from sklearn.model_selection import GridSearchCV, train_test_split #...
通过遗传算法对GBDT、XGBoost、LightBoost调参，并绘制决策树图和特
09-13
然而，模型的调参过程往往复杂且耗时，为了有效解决这一问题，遗传算法（Genetic Algorithm，GA）作为一种启发式搜索算法，能够模仿自然选择和遗传学机制，对模型参数进行优化。 遗传算法是一种强大的全局优化方法...
hyperparameter-tuning-benchmark:调整GBDT算法的超参数优化方法基准
04-05
超参数调整基准 使用超参数优化方法进行基准测试，以调整GBDT算法。
基于精确率和召回率的GBDT调参指南
10-31
只考虑Accuracy和AUC的调参方式是错误的；尤其是在不均衡样本时候，必须考虑精确率和召回率，本文采用基于遗传算法思想的调参方式，大概率来获得全局最优解
梯度提升树系列7——深入理解GBDT的参数调优
theskylife的博客
02-10 2533
在机器学习的众多算法中，梯度提升决策树（Gradient Boosting Decision Tree，简称GBDT）因其出色的性能和灵活性，被广泛应用于各种预测和分类问题中。然而，要充分发挥GBDT的潜力，适当的参数调优是不可或缺的。本文旨在深入探讨GBDT的参数调优，以帮助读者更好地理解和应用这一强大的机器学习工具。
万字总结GBDT原理、核心参数以及调优思路
LUyan10086的博客
07-09 2674
在机器学习领域，梯度提升决策树（Gradient Boosting Decision Tree, GBDT）以其卓越的预测性能和强大的模型解释能力而广受推崇。GBDT通过迭代地构建决策树，每一步都在前一步的残差上进行优化，从而实现对复杂数据模式的捕捉。本文将万字总结GBDT的工作原理、核心参数，以及如何高效地进行模型调优。从损失函数到树的构建，从正则化项到特征选择，我们将深入探讨GBDT的每一个细节，为读者提供全面的调优思路和实用技巧。梯度提升树（Gradient Boosting Decision Tre
GBDT调参心得
weixin_44070747的博客
06-22 366
scikit-learn GBDT类库概述 　在scikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相同。这些参数中，类似于Adaboost，我们把重要参数分为两类，第一类是Boosting框架的重要参数，...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Andy_shenzl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值