【xgboost】贝叶斯自动调参代码

已于 2022-07-07 11:03:43 修改
阅读量2.3k 收藏 20
点赞数 3
分类专栏： 机器学习 推荐算法 文章标签： 机器学习 sklearn
于 2022-07-06 16:07:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011590738/article/details/125641377
版权
本文分享了一段使用贝叶斯优化进行xgboost模型调参的代码，包括GBDTModel类的定义和模型训练示例。代码支持xgboost和lightgbm，可扩展至其他模型。
摘要由CSDN通过智能技术生成

工作中，很多场景下会用到xgboost模型，如风控、催收、营销、推荐等待。在用xgboost模型进行模型训练的时候，也经常用贝叶斯自动调参来搜索最优的参数。

现在把相关的代码贴出来，供大家参考。

目前是支持了xgboost和lightgbm模型，如果需要支持其他模型，感兴趣的朋友可以自己添加一下。

一、安装包

pip install bayesian-optimization

二、代码示例

GBDTModel类

我写了一个GBDTModel类，用来封装贝叶斯自动调参、模型训练、模型评估、模型保存、参数保存等代码，具体如下：

# -*-coding:utf-8 -*-
import os
import json
import pickle
import numpy as np
import xgboost as xgb
import lightgbm as lgb
from bayes_opt import BayesianOptimization
from sklearn.metrics import mean_absolute_error, roc_auc_score, accuracy_score, confusion_matrix


class GBDTModel(object):
    def __init__(self, output_dir, n_thread=10, n_jobs
MachineCYL
关注
专栏目录
贝叶斯算法(bayes)优化随机森林的数据回归预测，bayes-RF回归预测，多变量输入模型 评价指标包括:R2、MAE、M
09-23
贝叶斯算法(bayes)优化随机森林的数据回归预测，bayes-RF回归预测，多变量输入模型。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。
自动化机器学习（AutoML）之自动贝叶斯调参
01-27
【导读】机器学习中，调参是一项繁琐但至关重要的任务，因为它很大程度上影响了算法的性能。手动调参十分耗时，网格和随机搜索不需要人力，但需要很长的运行时间。因此，诞生了许多自动调整超参数的方法。贝叶斯优化是一种用模型找到函数最小值方法，已经应用于机器学习问题中的超参数搜索，这种方法性能好，同时比随机搜索省时。此外，现在有许多Python库可以实现贝叶斯超参数调整。文章由贝叶斯优化方法、优化问题的四个部分、目标函数、域空间、优化过程、及结果展示几个部分组成。 贝叶斯优化通过基于目标函数的过去评估结果建立替代函数（概率模型），来找到最小化目标
XGBoost算法-代码实现和网格调参
最新发布
敲代码的乔帮主
09-10 1229
这些超参数的合理设置对于模型的性能至关重要。通常，需要通过交叉验证等方法来调整这些参数，以找到最佳的模型配置。在实际应用中，这些信息帮助我们理解模型在不同配置下的表现，并选择最佳的模型参数进行最终的模型部署和预测。利用GridSearchCV算法，找出最合适的num_boost_round和学习率eta超参数。在XGBoost中，这些超参数控制着模型的训练过程和行为。进行的模型超参数优化和验证的细节。这段执行结果提供了通过。
贝叶斯优化xgboost 精调参数
mqdlff_python的博客
12-26 1099
贝叶斯优化xgboost 精调参数
自动化XGBoost调参神器：AutoXGB
gitblog_00097的博客
04-26 467
自动化XGBoost调参神器：AutoXGB autoxgb XGBoost + Optuna 项目地址: https://gitcode.com/gh_mirrors/au/autoxgb 项目简介 在机器...
xgboost调参
qq_38016957的博客
08-26 379
Xgboost参数 ‘booster’:‘gbtree’, 提升树 ‘objective’: ‘multi:softmax’, 多分类的问题 ‘num_class’:10, 类别数，与 multisoftmax 并用 ‘gamma’:损失下降多少才进行分裂-（即xgboost公式推导中的，类似于信息增益） ‘max_depth’:12, 构建树的深度，越大越容易过拟合 ‘lambda’:2, ...
贝叶斯优化调参示例代码 (xgboost,lgbm)
热门推荐
三年研究生能改变多少
12-27 1万+
先贴出教程链接。 Bayesian Optimization of XGBoost Parameters https://www.kaggle.com/tilii7/bayesian-optimization-of-xgboost-parameters/notebook 衍生出来的：lgbm调参 https://www.kaggle.com/fabiendaniel/hyperparameter-...
xgboost模型的调参策略总结
XGBoost具有灵活的调参选项，能够有效监控模型过拟合的风险，提高模型的泛化能力。总的来说，XGBoost在实际应用中展现出了强大的预测能力和稳定的表现，成为许多数据科学家和机器学习从业者的首选算法之一。 # 2. ...
贝叶斯优化原理及应用[附XGBoost、LightGBM超参数调优代码][scikit-optimize]
wonner_的博客
12-14 1万+
近年来机器学习和深度学习算法被越来越广泛的应用于解决对未知数据的预测问题。由于超参数的选择对模型最终的效果可能有极大的影响，为了使模型达到更好的效果，通常会面临超参数调优问题。但如何选择合适的超参数并没有一个明确的指导，并且同一模型面对随时间变化的数据，其超参数的选择都可能需要随着数据变化进行调节，更何况是原本就分布不同的两份数据。因此，人工指定超参数通常是根据经验或随机的方法进行尝试，深度学习里...
Xgboost案例源代码.zip
05-24
10. **调参技巧**：通常采用网格搜索、随机搜索或贝叶斯优化等方法进行参数调优。利用`GridSearchCV`或`RandomizedSearchCV`等工具可以自动化这个过程。 通过这个压缩包中的案例源代码，你可以学习如何导入数据、...
XGBoost 原理与代码实战案例讲解
AI天才研究院
06-19 719
XGBoost 原理与代码实战案例讲解 1.背景介绍 在机器学习领域，提升树（Boosting Trees）是一种非常有效的集成学习方法。XGBoost（Extreme Gradient Boosting）作为提升树的一个重要实现，因其高效、准确和灵活的特点，广泛应用于各类数据科学竞赛
XGBoost 自动化调参模块
qq1483661204的博客
05-01 4441
import pprint import sklearn.preprocessing as preprocessing from xgboost import XGBRegressor import xgboost as xgb import pandas as pd from sklearn import metrics from sklearn.model_selection import t...
分类代码选取，Xgboost代码详解与自动调参
qq_52310720的博客
10-28 4123
建议用jupyter进行编译运行，sklearn更新到最新的版本。分类代码选取，Xgboost代码详解与自动调参
自动调参工具--贝叶斯调参
南宫轩翰的博客
10-10 445
一般的方法就是网格搜索（sklearn里面的gridsearch）、贝叶斯调参（hyperopt工具）。 http://www.360doc.com/content/18/0707/15/7669533_768542933.shtml
论XGBOOST科学调参
weixin_34378767的博客
02-17 148
XGBOOST的威力不用赘述，反正我是离不开它了。 具体XGBOOST的原理可以参见之前的文章《比XGBOOST更快--LightGBM介绍》 今天说下如何调参。 bias-variance trade-off xgboost一共有几十个参数： http://xgboost.readthedocs.io/en/latest/parameter.h...
如何使用hyperopt对xgboost进行自动调参
FontTian的博客
12-17 6387
本教程重点在于传授如何使用Hyperopt对xgboost进行自动调参。但是这份代码也是我一直使用的代码模板之一，所以在其他数据集上套用该模板也是十分容易的。 同时因为xgboost，lightgbm，catboost。三个类库调用方法都比较一致，所以在本部分结束之后，我们有理由相信，你将会学会在这三个类库上使用hyperopt。除此之外要额外说明的是，本文并不涉及交叉验证的问题，交叉验证请查看其...
python实现xgboost回归贝叶斯调参
05-24
XGBoost 是一种优秀的集成学习算法，它在分类和回归问题中都有着很好的表现。贝叶斯调参是一种基于贝叶斯优化的超参数优化技术，可以帮助我们更快地找到最优的超参数组合。下面是使用 Python 实现 XGBoost 回归贝叶斯调参的步骤： 1. 导入需要的库 ```python import xgboost as xgb from sklearn.datasets import load_boston from sklearn.model_selection import cross_val_score from bayes_opt import BayesianOptimization ``` 2. 加载数据集 ```python data = load_boston() X = data['data'] y = data['target'] ``` 3. 定义 XGBoost 回归模型和目标函数 ```python def xgb_cv(max_depth, subsample, eta): params = { 'eval_metric': 'rmse', 'max_depth': int(max_depth), 'subsample': subsample, 'eta': eta, 'seed': 42, 'nthread': -1, } cv_result = xgb.cv(params, xgb.DMatrix(X, y), num_boost_round=1000, nfold=5) return -1.0 * cv_result['test-rmse-mean'].iloc[-1] ``` 4. 定义超参数搜索空间 ```python xgb_bo = BayesianOptimization( xgb_cv, {'max_depth': (3, 7), 'subsample': (0.6, 1), 'eta': (0.01, 0.5)} ) ``` 5. 进行贝叶斯调参优化 ```python xgb_bo.maximize(n_iter=10, init_points=10) ``` 6. 输出最优超参数组合和最优目标函数值 ```python print(xgb_bo.max) ``` 通过以上步骤，我们就可以使用 XGBoost 回归模型和贝叶斯调参技术来优化超参数，从而更好地拟合数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值