XGBoost学习-应用案例

最新推荐文章于 2023-09-25 13:58:55 发布
最新推荐文章于 2023-09-25 13:58:55 发布
阅读量919 收藏 2
点赞数
文章标签： 学习 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42856170/article/details/129242008
版权

文章目录

一、过拟合：剪枝参数与回归模型调参

class xgboost.XGBRegressor (max_depth=3, learning_rate=0.1, n_estimators=100, silent=True,
objective=‘reg:linear’, booster=‘gbtree’, n_jobs=1, nthread=None, gamma=0, min_child_weight=1,
max_delta_step=0, subsample=1, colsample_bytree=1, colsample_bylevel=1, reg_alpha=0, reg_lambda=1,
scale_pos_weight=1, base_score=0.5, random_state=0, seed=None, missing=None, importance_type=‘gain’, kwargs)
在这里插入图片描述
从曲线上可以看出，模型现在处于过拟合的状态。我们决定要进行剪枝。我们的目标是：训练集和测试集的结果尽量
接近，如果测试集上的结果不能上升，那训练集上的结果降下来也是不错的选择（让模型不那么具体到训练数据，增
加泛化能力）。在这里，我们要使用三组曲线。一组用于展示原始数据上的结果，一组用于展示上一个参数调节完毕
后的结果，最后一组用于展示现在我们在调节的参数的结果。具体怎样使用，我们来看：

在这里插入图片描述
在这里插入图片描述

二、XGBoost模型的保存和调用

pickle是python编程中比较标准的一个保存和调用模型的库，我们可以使用pickle和open函数的连用，来将我们的模
型保存到本地。以刚才我们已经调整好的参数和训练好的模型为例，我们可以这样来使用pickle：
在这里插入图片描述
在这里插入图片描述

使用Joblib保存和调用模型

在这里插入图片描述

三、分类案例：XGB中的样本不均衡问题

在之前的学习中，我们一直以回归作为演示的例子，这是由于回归是XGB的常用领域的缘故。然而作为机器学习中的
大头，分类算法也是不可忽视的，XGB作为分类的例子自然也是非常多。存在分类，就会存在样本不平衡问题带来的
影响，XGB中存在着调节样本不平衡的参数scale_pos_weight，这个参数非常类似于之前随机森林和支持向量机中
我们都使用到过的class_weight参数，通常我们在参数中输入的是负样本量与正样本量之比
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、 XGBoost类中的其他参数和功能

在这里插入图片描述
更多计算资源：n_jobs
nthread和n_jobs都是算法运行所使用的线程，与sklearn中规则一样，输入整数表示使用的线程，输入-1表示使用计
算机全部的计算资源。如果我们的数据量很大，则我们可能需要这个参数来为我们调用更多线程。

降低学习难度：base_score
base_score是一个比较容易被混淆的参数，它被叫做全局偏差，在分类问题中，它是我们希望关注的分类的先验概
率。比如说，如果我们有1000个样本，其中300个正样本，700个负样本，则base_score就是0.3。对于回归来说，
这个分数默认0.5，但其实这个分数在这种情况下并不有效。许多使用XGBoost的人已经提出，当使用回归的时候
base_score的默认应该是标签的均值，不过现在xgboost库尚未对此做出改进。使用这个参数，我们便是在告诉模型
一些我们了解但模型不一定能够从数据中学习到的信息。通常我们不会使用这个参数，但对于严重的样本不均衡问
题，设置一个正确的base_score取值是很有必要的。

生成树的随机模式：random_state
在xgb库和sklearn中，都存在空值生成树的随机模式的参数random_state。在之前的剪枝中，我们提到可以通过随
机抽样样本，随机抽样特征来减轻过拟合的影响，我们可以通过其他参数来影响随机抽样的比例，却无法对随机抽样
干涉更多，因此，真正的随机性还是由模型自己生成的。如果希望控制这种随机性，可以在random_state参数中输
入固定整数。需要注意的是，xgb库和sklearn库中，在random_state参数中输入同一个整数未必表示同一个随机模
式，不一定会得到相同的结果，因此导致模型的feature_importances也会不一致。

自动处理缺失值：missing
XGBoost被设计成是能够自动处理缺失值的模型，这个设计的初衷其实是为了让XGBoost能够处理稀疏矩阵。我们可
以在参数missing中输入一个对象，比如np.nan，或数据的任意取值，表示将所有含有这个对象的数据作为空值处
理。XGBoost会将所有的空值当作稀疏矩阵中的0来进行处理，因此在使用XGBoost的时候，我们也可以不处理缺失
值。当然，通常来说，如果我们了解业务并且了解缺失值的来源，我们还是希望手动填补缺失值。

总结

育林
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
xgboost-1.7.5-py3-none-win-amd64
06-11
工具箱中是调用《xgboost-1.1.0+115e4c33608c3b0cee75402f1193e67fdb11ef9a-py3-none-win_amd64.whl》这个版本的whl文件。 针对windows64位系统，要注意下载后缀为win_amd64的文件，当然版本不需要严格用1.10的 ，用...
大白话XGBoost算法--彻底了解XGBoost
06-21
本文通过XGBoost的算法思想到XGBoost的目标函数转换，通过泰勒...1.5XGBoost目标函数求解和案例理解 1.6XGBoost学习策略-树结构的生成 1.7XGBoost特性-区别于GBDT 1.8XGBoost代码实战-相关参数 资料如下： 视频文件：
Python降低XGBoost 过度拟合多种方法
fulk6667g78o8的专栏
08-27 2381
在公众号「python风控模型」里回复关键字：学习资料，免费领取资料。 python风控模型 持牌照金融公司模型专家，教学主页 https://ke.qq.com/teacher/231469242?tuin=dcbf0
在XGBoost中通过Early Stop避免过拟合
小美哥的博客
12-15 7847
本文翻译自Avoid Overfitting By Early Stopping With XGBoost In Python，讲述如何在使用XGBoost建模时通过Early Stop手段来避免过拟合。全文系作者原创，仅供学习参考使用，转载授权请私信联系，否则将视为侵权行为。码字不易，感谢支持。以下为全文内容： 过拟合问题是在使用复杂的非线性学习算法时会经常碰到的，比如gradient bo...
XGBoost简单理解
嘟嘟伐木工的博客
07-29 899
GBDT与XGBOOST比较 XGBoost对GBDT的改进1 . 避免过拟合目标函数之外加上了正则化项整体求最优解，用以权衡目标函数的下降和模型的复杂程度，避免过拟合。基学习为CART时，正则化项与树的叶子节点的数量T和叶子节点的值有关。 2 . 二阶的泰勒展开，精度更高不同于传统的GBDT只利用了一阶的导数信息的方式，XGBoost对损失函数做了二阶的泰勒展开，精度更高。 第t次...
Python实践通过使用XGBoost中的尽早停止【Early Stopping】策略来避免过度拟合
Together_CZ的博客
03-22 8183
【翻译自 ： Avoid Overfitting By Early Stopping With XGBoost In Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 过度拟合是复杂的非线性学习算法（例如梯度提升）的一个问题。 在本文中，您将发现如何使用早期停止来限制Python中XGBoost的过拟合。阅读...
xgboost3-各类防止过拟合的参数以及调参过程，以及模型的保存和调用
weixin_45271076的博客
05-28 2106
#展示各类参数的调参过程 #目的就是测试集的效果不能更差且与训练集的距离减小，主要防止过拟合 dfull=xgb.DMatrix(X,y)#其余参数都是默认 param1={"silent":True#并非默认 ,"obj":"reg:linear"#并非默认 ,"subsample":1 ,"max_depth":6 ,"eta":0.3 ,"gamma":0.3 ,"lambda":1 ,"alpha"..
XGBoost防止过拟合的方法
Ray_awakepure的博客
08-12 6268
一些从理论研究和实践经验中总结的防止过拟合的思路，这里以XGBoost为例，其他模型也可以用类似的思路。
XGBoost中如何防止过拟合
学无止境、积少成多、厚积薄发
07-17 6480
过拟合问题是在使用复杂的非线性学习算法时会经常碰到（例如gradient boosting算法），在前面的博客中，我们也已经详细的讲述了过拟合问题。 在本博客中，主要讲述XGBoost算法用Early Stopping方法避免过拟合。 项目中用到的数据集： Pima Indians Diabetes Data Set（皮马印第安人糖尿病数据集） 数据集的内容是皮马人的医疗记录，以及过去5年内是否有...
XGBoost模型及LightGBM模型案例（Python）
qq_42433311的博客
04-29 1万+
XGBoost算法原理参考其他详细博客以及官方文档 LightGBM算法原理参考其他详细博客以及官方文档 这里介绍两个算法的简单案例应用。 1 XGBoosting案例：金融反欺诈模型 信用卡盗刷一般发生在持卡人信息被不法分子窃取后复制卡片进行消费或信用卡被他人冒领后激活并消费等情况下。一旦发生信用卡盗刷，持卡人和银行都会遭受一定的经济损失。因此，通过大数据技术搭建金融反欺诈模型对银行来说尤为重要。 1.1模型搭建 1.1.1读取数据 通过如下代码读取1000条客户信用卡的交易数据。 特..
Xgboost调参--针对过拟合和非平衡数据
热门推荐
凝眸伏笔的博客
06-26 2万+
调参须知：在机器学习中，调参是一项dark art(可以理解为一项优美而道不明的事情)。一个模型的最优参数取决于很多因素。因此不可能建立一个完备的调参说明书去获取最优参数。理解 Bias-Variance tradeoff(先说一下tradeoff的意思：就是折中的意思，这里是说)如果你上过机器学习或者统计学课程，这是一个非常重要的概念。当我们允许一个模型非常复杂的时候（比如，增加每一棵树的深度d...
机器学习笔记：初识XGBoost (XGBoost分类器代码实验)
chenxy_bwave的专栏
12-29 6644
XGBoost( eXtreme Gradient Boosting：极限梯度提升)是基于决策树的集成机器学习算法，它以梯度提升（Gradient Boost）为框架，由GBDT发展而来。它的主要目标是提升模型运行的速度和有效性(efficiency)。本文不涉及更深的理论介绍（感兴趣者可以去读原论文, Ref3提供了一个不错的解读），仅限于基于代码实验简要介绍如何构建你的第一个XGboost应用模型。
Scratch-基于scratch实现的xgboost算法-机器学习算法实现.zip
最新发布
02-28
Scratch_基于scratch实现的xgboost算法_机器学习算法实现
xgboost-0.82-py2.py3-none-win_amd64.whl
02-22
xgboost-0.82-py2.py3-none-win_amd64.whl
xgboost jvm-package jar包
01-25
xgboost jvm-package jar包xgboost jvm-package jar包
机器学习——XGboost原理及python实现
qq_27758151的博客
08-24 6870
机器学习——XGboost原理及python实现
XGBoost的剪枝参数与模型调参实战
拟禾的个人技术博客
02-02 2153
XGBoost的重要剪枝参数与波士顿房价数据集调参实战
时间序列预测模型实战案例(四)(Xgboost)(Python)(机器学习)图解机制原理实现时间序列预测和分类(附一键运行代码资源下载和代码讲解)
Snu77的博客
09-25 8903
在本次实战案例中基于Python和机器学习来实现Xgboost完成时间序列预测和时间序列分类任务。Xgboost是一种强大的梯度提升树算法，其采用贪心算法来求得最优解，适用于各种机器学习任务，它最初主要用于解决分类问题，在此基础上也可以应用于时间序列预测。XGBoost的优点主要体现在以下几个方面：优秀的泛化能力：XGBoost采用了一系列的正则化技术，可以有效地避免过拟合，从而提高模型的泛化能力。我在CSDN上传了Xgboost的运行文件大家可以下载运行试试，文件内包含完整的注释和阅读心得。
XGBoost算法分析与案例调参实例
weixin_43595036的博客
04-26 4054
1. XGBoost简介 XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其它许多机器学习竞赛中并取得不错的成绩。 2. XGBoost与GBDT的区别与联系 原始的GBDT算法基于经验损失函数的负梯度来构造新的决策树，在决策树构建完成后再进行剪枝。而XGBoost在决策树构建阶段就加入正则项，损失函数为： Lt=∑iNl(yi,Ft−1(xi)+ft(xi))+Ω(ft) L_t=\sum_{i}^{N} l\le
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值