用贝叶斯优化的方法优化xgboost的参数

除了我们平常所做的网格搜索,随机搜索外,我发现贝叶斯优化的方法挺不错,然后我就尝试了一下,发现效果挺好的,我这里把我的代码分享出来:

贝叶斯优化通过基于目标函数的过去评估结果建立替代函数(概率模型),来找到最小化目标函数的值。贝叶斯方法与随机或网格搜索的不同之处在于,它在尝试下一组超参数时,会参考之前的评估结果,因此可以省去很多无用功。

超参数的评估代价很大,因为它要求使用待评估的超参数训练一遍模型,而许多深度学习模型动则几个小时几天才能完成训练,并评估模型,因此耗费巨大。贝叶斯调参发使用不断更新的概率模型,通过推断过去的结果来“集中”有希望的超参数。

1 导入库包

from skopt import BayesSearchCV
import xgboost as xgb
from sklearn.model_selection import train_test_split
import pandas as pd
from sklearn.model_selection import StratifiedKFold
import numpy as np
from sklearn.utils import shuffle

2 加载数据


train_path='ads_train.csv'
train_data=pd.read_csv(train_path)

3 数据集特征处理

train_data = shuffle(train_data)
X=train_data[['isbuyer', 'buy_freq', 'visit_freq', 'buy_interval',
       'sv_interval', 'expected_time_buy', 'expected_time_visit', 'last_buy', 'multiple_buy', 'multiple_visit', 'uniq_urls',
       'num_checkins']]
Y=train_data[['y_buy']]
X_train,X_test,y_train,y_test=train_test_split(X,Y,test_size=0.2)

优化代码

ITERATIONS=100
# Classifier
bayes_cv_tuner = BayesSearchCV(
    estimator = xgb.XGBClassifier(
        n_jobs = 1,
        objective = 'binary:logistic',
        eval_metric = 'auc',
        silent=1,
        tree_method='approx'
    ),
    search_spaces = {
        'learning_rate': (0.01, 1.0, 'log-uniform'),
        'min_child_weight': (0, 10),
        'max_depth': (0, 50),
        'max_delta_step': (0, 20),
        'subsample': (0.01, 1.0, 'uniform'),
        'colsample_bytree': (0.01, 1.0, 'uniform'),
        'colsample_bylevel': (0.01, 1.0, 'uniform'),
        'reg_lambda': (1e-9, 1000, 'log-uniform'),
        'reg_alpha': (1e-9, 1.0, 'log-uniform'),
        'gamma': (1e-9, 0.5, 'log-uniform'),
        'min_child_weight': (0, 5),
        'n_estimators': (50, 100),
        'scale_pos_weight': (1e-6, 500, 'log-uniform')
    },    
    scoring = 'roc_auc',
    cv = StratifiedKFold(
        n_splits=5,
        shuffle=True,
        random_state=42
    ),
    n_jobs = 6,
    n_iter = ITERATIONS,   
    verbose = 0,
    refit = True,
    random_state = 42
)

def status_print(optim_result):
    """Status callback durring bayesian hyperparameter search"""
    
    # Get all the models tested so far in DataFrame format
    all_models = pd.DataFrame(bayes_cv_tuner.cv_results_)    
    
    # Get current parameters and the best parameters    
    best_params = pd.Series(bayes_cv_tuner.best_params_)
    print('Model #{}\nBest ROC-AUC: {}\nBest params: {}\n'.format(
        len(all_models),
        np.round(bayes_cv_tuner.best_score_, 4),
        bayes_cv_tuner.best_params_
    ))
    print(dict(bayes_cv_tuner.best_params_))
    
    
    # Save all model results
    clf_name = bayes_cv_tuner.estimator.__class__.__name__
    all_models.to_csv(clf_name+"_cv_results.csv")

result = bayes_cv_tuner.fit(X.values, Y.values, callback=status_print)

参考文献

Bayesian hyperparameter tuning of xgBoost
自动机器学习超参数调整(贝叶斯优化)

  • 3
    点赞
  • 72
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
当然!以下是一个使用贝叶斯优化优化XGBoost回归模型超参数的Python代码示例: ```python # 导入需要的库 import xgboost as xgb from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error from bayes_opt import BayesianOptimization # 加载数据集 boston = load_boston() X, y = boston.data, boston.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 定义目标函数,即模型评估指标 def xgb_evaluate(max_depth, gamma, colsample_bytree): params = {'eval_metric': 'rmse', 'max_depth': int(max_depth), 'subsample': 0.8, 'eta': 0.1, 'gamma': gamma, 'colsample_bytree': colsample_bytree} dtrain = xgb.DMatrix(X_train, label=y_train) cv_result = xgb.cv(params, dtrain, num_boost_round=100, nfold=5) return -cv_result['test-rmse-mean'].iloc[-1] # 返回负的RMSE,因为贝叶斯优化寻找最小值 # 设置超参数搜索空间 pbounds = {'max_depth': (3, 10), 'gamma': (0, 1), 'colsample_bytree': (0.5, 1)} # 创建贝叶斯优化对象,并进行优化 optimizer = BayesianOptimization(f=xgb_evaluate, pbounds=pbounds, verbose=2) optimizer.maximize(init_points=5, n_iter=10) # 设置初始点数和迭代次数 # 输出调优结果 print(optimizer.max) # 使用最优参数训练模型 params = optimizer.max['params'] params['max_depth'] = int(params['max_depth']) dtrain = xgb.DMatrix(X_train, label=y_train) model = xgb.train(params, dtrain, num_boost_round=100) # 对测试集进行预测 dtest = xgb.DMatrix(X_test) y_pred = model.predict(dtest) # 计算均方误差 mse = mean_squared_error(y_test, y_pred) print("均方误差:", mse) ``` 以上代码使用`xgboost`库实现了贝叶斯优化XGBoost回归模型。首先,我们加载波士顿房价数据集,并将其划分为训练集和测试集。然后,我们定义了目标函数`xgb_evaluate`,该函数接受超参数并返回交叉验证的RMSE评分。接下来,我们设置了超参数的搜索空间`pbounds`。然后,我们创建了一个贝叶斯优化对象,并使用`BayesianOptimization`类进行优化。通过调用`maximize`方法,我们可以指定初始点数和迭代次数来进行贝叶斯优化。最后,我们输出了最优参数和相应的RMSE评分,并使用最优参数训练模型并在测试集上进行预测,计算均方误差。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

农民小飞侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值