万字总结XGBoost原理、核心参数以及调优思路（上篇）

于 2024-07-11 19:07:01 发布
阅读量1.9k 收藏 19
点赞数 38
文章标签： 算法 数据挖掘 机器学习 xgboost
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LUyan10086/article/details/140359688
版权

万字总结XGBoost原理、核心参数以及调优思路（上篇）

在数据科学领域，XGBoost以其卓越的性能和灵活性，成为了众多机器学习算法中的佼佼者。作为一种梯度提升框架，XGBoost通过构建决策树的集合来最小化一个可微分的损失函数，广泛应用于分类、回归等任务。本文将万字总结XGBoost的深层原理、关键核心参数，以及实用的调优策略。从算法基础到模型部署，我们将深入探讨XGBoost的每一个环节，为读者提供全面的指导和深入的洞见。无论您是希望提升模型性能的数据科学家，还是对XGBoost感兴趣的学习者，本文都将是您理解和掌握这一强大工具的宝贵资源。让我们启程，深入探索XGBoost的奥秘。

文章目录

一、XGBoost的基础思想与实现

1 XGBoost VS GBDT

极限提升树XGBoost(Extreme Gradient Boosting，XGB，发音/æks-g-boost/)是基于梯度提升树GBDT全面升级的新一代提升算法，也是提升家族中最富盛名、最灵活、最被机器学习竞赛所青睐的算法。不同于其他算法，XGBoost是一个以提升树为核心的算法系统，它覆盖了至少3+建树流程、10+损失函数，可以实现各种类型的梯度提升树，灵活性无与伦比。同时，XGBoost天生被设计成支持巨量数据，因此可以自由接入GPU/分布式/数据库等系统、还创新了众多工程上对传统提升算法进行加速的新方法。可以说，XGBoost是21世纪中Boosting算法的又一个里程碑，它开创了后GBDT时代中Boosting算法的新辉煌。

作为Boosting算法，XGBoost中自然包含Boosting三要素：

  • 损失函数：用以衡量模型预测结果与真实结果的差异。
  • 弱评估器 ：（一般为）决策树，不同的boosting算法使用不同的建树过程。
  • 综合集成结果：即集成算法具体如何输出集成结果

并且XGBoost同样遵循Boosting算法建模的基本流程
在这里插入图片描述
但相比GBDT，XGBoost不再准求损失函数的最小值，而是追求目标函数的最小值（这也是XGBoost与GBDT的最大区别）
欢迎关注我的公众号~XGBoost关键优化

2 XGBoost回归的sklearnAPI

XGBoost自带sklearn接口（sklearn API），通过这个接口，可以使用跟sklearn代码一样的方式来实现xgboost，即可以通过fit和predict等接口来执行训练预测过程，也可以调用属性比如coef_等。
图片

其中XGBRF的两个类是以XGBoost方式建树、但以bagging方式构建森林的类，通常只有在我们使用普通随机森林效果不佳、但又不希望使用Boosting的时候使用。除非发现必须使用Bagging算法而普通sklearn运行出来的随机森林效果又不好，才考虑使用。XGBoost与GBDT一样，在多分类问题中计算效率较差，所以一般用于回归问题中。

欢迎关注我的公众号~XGBoost sklearnAPI建模

3 XGBoost回归的原生代码实现（相比SklearnAPI运行速度可能更快）

XGBoost的原生代码与sklearn代码有很大的不同。首先，原生代码必须使用XGBoost自定义的数据结构DMatrix，这一数据结构能够保证xgboost算法运行更快，并且能够自然迁移到GPU上运行（在GPU上运行列表、数组、Dataframe都会报错），类似于列表、数组、Dataframe等结构都不能用于原生代码，因此使用原生代码的第一步就是要更换数据结构。
在这里插入图片描述
当设置好数据结构后，一般需要以字典形式设置参数。XGBoost也可以接受像sklearn一样，将所有参数都写在训练所用的类当中，然而由于xgboost的参数列表过长、参数类型过多，直接将所有参数混写在训练模型的类中会显得代码冗长且混乱，因此往往会使用字典单独呈现参数。准备好参数列表后，使用xgboost中自带的方法xgb.train（不带有评估的能力，不像sklearn中可以输出score的评估指标）或xgb.cv（交叉验证会直接返回评估指标）进行训练，训练完毕后，可以使用predict方法对结果进行预测。虽然xgboost原生代码库所使用的数据结构是DMatrix，但在预测时输出的数据结构却是普通的数组，因此可以直接使用sklearn中的评估指标，或者python编写的评估指标对模型进行评估。
在这里插入图片描述
方法xgb.train和xgb.cv的第一个参数params就是需要使用字典自定义的参数列表，第二个参数dtrain就是DMatrix结构的训练数据，第三个参数num_boost_round其实就等同于sklearn中的n_estimators，表示总共建立多少棵提升树，也就是建模过程中的迭代次数。
欢迎关注我的公众号~XGBoost 原生API建模

4 XGBoost分类代码实现

XGBoost默认会实现回归算法，因此在执行分类的时候，需要主动声明算法的类型。xgboost是通过当前算法所使用的损失函数来判断任务类型的，即是通过在params中填写的objective参数来判断任务类型。当不再执行回归任务时，模型的评估指标也会发生变化，因此xgboost分类所需要的参数会更多。objective参数中可以输入数十种不同的选项，常见的有：

  • 回归任务

    • reg:squarederror：平方损失，即1/2（y-y‘）^2其中1/2是为了计算简便（默认值）
    • reg:squaredlogerror：平方对数损失，即1/2[𝑙𝑜𝑔(𝑦+1)−𝑙𝑜𝑔(𝑦+1)]2，其中1/2是为了计算简便（含义和平方损失高度相近，只不过是把非常巨大的平方损失转换为数字比较小的对数平方损失，一般不会修改回归任务的默认损失函数，除非发现默认损失函数存在严重问题，如特别不稳定等等）

  • 分类任务

    • binary:logistic：二分类交叉熵损失，使用该损失时predict接口输出概率。（只有一列，一般是类别1的概率）。

    • binary:logitraw：二分类交叉熵损失，使用该损失时predict接口输出执行sigmoid变化之前的值。

    • multi:softmax：多分类交叉熵损失，使用该损失时predict接口输出具体的类别。

    • multi:softprob：多分类交叉熵，适用该损失时predict接口输出每个样本每个类别下的概率。

      注意：上述不同的损失函数会影响predict的输出，但却不会影响交叉验证方法xgb.cv的输出（只要是回归一律输出RMSE，只要是分类一律输出交叉熵损失，要改评估指标的话需要单独填写）。当不填写任何内容时，参数objective的默认值为reg:squarederror。

欢迎关注我的公众号~XGBoost 原生API分类问题建模

二、XGBoost的参数

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

1 迭代过程

欢迎关注我的公众号~XGBoost 迭代过程相关参数

2 XGBoost的弱评估器

欢迎关注我的公众号~XGBoost 弱评估器相关参数

3 dart树和提前停止

欢迎关注我的公众号~XGBoost dart树和提前停止相关参数

总结

在这里插入图片描述

妙龄少女郭德纲
关注
  • 38
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
万字总结XGBoost原理、核心参数以及调优思路（下篇）
LUyan10086的博客
07-12 1466
在数据科学领域，XGBoost以其卓越的性能和灵活性，成为了众多机器学习算法中的佼佼者。作为一种梯度提升框架，XGBoost通过构建决策树的集合来最小化一个可微分的损失函数，广泛应用于分类、回归等任务。本文将万字总结XGBoost的深层原理、关键核心参数，以及实用的调优策略。从算法基础到模型部署，我们将深入探讨XGBoost的每一个环节，为读者提供全面的指导和深入的洞见。无论您是希望提升模型性能的数据科学家，还是对XGBoost感兴趣的学习者，本文都将是您理解和掌握这一强大工具的宝贵资源。让我们启程，深入探
【转】XGBoost参数调优完全指南（附Python代码）
惊鸿一博
02-29 2031
如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就有些困难(至少我觉得十分纠结)。这个算法使用了好几个参数。所以为了提高模型的表现，参数的调整十分必要。在解决实际问题的时候，有些问题是很难回答的——你需要调整哪些参数？这些参数要调到什么值，才能达到理想的输出？这篇文章最适合刚刚接触XGBoost的人阅读。
图解机器学习 | XGBOOST模型详解
weixin_42907150的博客
02-07 4495
在前面，我们使用ft(x)f_t(x)ft(x)代表一颗树，在本小节，我们重新定义一下树：我们通过叶子结点中的分数向量和将实例映射到叶子结点的索引映射函数来定义树：（有点儿抽象，具体请看下图）www代表树中叶子结点的权重qqq代表的是树的结构从上图可以看出，共有3个叶子结点，第一个叶子结点的权重为+1，第二个叶子结点的权重为0.1，第三个叶子结点的权重为-1；其中，小男孩属于第1个叶子结点，老奶奶属于第3个叶子结点。通过下面的式子定义树的复杂程度（定义并不是唯一的）Tw_j。
XGBoost模型详解
weixin_44852067的博客
04-24 1万+
1.什么是XGBoost？   GBDT，它是一种基于boosting增强策略的加法模型，训练的时候采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t−1t-1t−1 棵树的预测结果与训练样本真实值的残差。XGBoost对GBDT进行了一系列优化，比如损失函数进行了二阶泰勒展开、目标函数加入正则项、支持并行和默认缺失值处理等，在可扩展性和训练速度上有了巨大的提升，但其核心思想没有大的变化。 2.XGBoost的核心原理 2.1 如何构造目标函数？   对于一个给定有 nnn 个样本和
XGBoost中参数调整的完整指南
weixin_30713953的博客
01-11 252
XGBoost（eXtreme Gradient Boosting）是梯度增强算法的高级实现，已成为许多数据科学家的终极武器。它是一种高度复杂的算法，功能强大，足以处理各种不规则的数据。 使用XGBoost构建模型很容易。但是，使用XGBoost改进模型很困难。该算法使用多个参数。要改进模型，必须进行参数调整。 本文最适合XGBoost新手。在本文中，我们将学习参数调整的技巧以及有关XGBoo...
XGBoost系列7——XGBoost的性能优化策略
theskylife的博客
01-26 1627
XGBoost（eXtreme Gradient Boosting）作为一种强大的机器学习算法，在处理大规模数据集时能够发挥出色的性能。然而，为了充分利用XGBoost的潜力，我们需要采取一系列的性能优化策略。本文将深入探讨XGBoost性能优化的几个关键方面，包括并行计算原理、大规模数据集的分布式训练、内存优化与缓存策略以及如何利用XGBoost的GPU加速功能。
【模型参数优化】网格搜索对随机森林分类模型进行参数寻优【附python实现代码】
最新发布
学无止境、积少成多、厚积薄发
05-04 1784
网格搜索对随机森林分类模型进行参数寻优【附python实现代码】
xgboost的调优
hch977的博客
05-03 1414
要想最后的结果有巨大的提升，可以通过特征工程、模型集成来实现。
xgboost参数-调参
Vulpes corsac
09-27 2万+
目录 一、xgboost 原生接口 重要参数 训练参数 预测函数 绘制特征重要性 回归例子 二、xgboost 的 sklearn 风格接口 XGBClassifier基本使用 XGBRegressor基本使用 三、xgboost 调参思路 四、参考文章 xgboost 包含原生接口和 sklearn 风格接口两种，并且二者都实现了分类和回归的功能。如果想了解一些理论性的内容，可以看看之前的文章： XGBoost算法的相关知识 一、xgboost 原生接口 重要参数 ...
XGBOOST参数调优
纸上得来终觉浅
08-02 1万+
from：https://www.cnblogs.com/zhangbojiangfeng/p/6428988.html XGBoost参数调优 http://blog.csdn.net/hhy518518/article/details/54988024 摘要： 转载：http://blog.csdn.NET/han_xiaoyang/article/details/52665396 ...
XGBoost参数调优小结
简书博客搬家测试账号
03-11 806
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据...
一文掌握XGBoost核心原理
github_35304705的博客
04-09 584
XGBoost是经典的提升树学习框架，其配套论文和PPT分享也相当经典，本文简单梳理其思路，原文见XGBoost原理简介。 整体思路 和一般提升模型一样，提升树模型也遵循相同的范式 采用加法模型「forward stage-wise manner」 每轮引入一weak learner「此处是一棵CART树」 学习之前weak learners的不足「用梯度表征」 同时要考虑过拟合等问题「ove...
机器学习分类算法之XGBoost（集成学习算法）
热门推荐
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
02-14 7万+
目录 走进XGBoost 什么是XGBoost？ XGBoost树的定义 XGBoost核心算法 正则项：树的复杂程度 XGBoost与GBDT有什么不同 XGBoost需要注意的点 XGBoost重要参数详解 调参步骤及思想 XGBoost代码案例 相关性分析 n_estimators（学习曲线） max_depth（学习曲线） 调整max_depth 和min_child_weight 调整gamma 调整subsample 和colsample_bytree 调整正则
【进阶版】机器学习之贝叶斯分类器细节回顾及原理完善（10）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-23 1074
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
【进阶版】机器学习之支持向量机细节回顾及原理完善（09）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-23 745
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
【进阶版】 机器学习之聚类算法原理详解+案例解说（14）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-23 1180
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
【进阶版】 机器学习之主成分分析（PCA）、MDS算法、核化线性降维 （16）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-23 1478
机器学习算法知识、数据预处理、特征工程、模型评估——原理+案例+代码实战机器学习之Python开源教程——专栏介绍及理论知识概述机器学习框架及评估指标详解Python监督学习之分类算法的概述数据预处理之数据清理，数据集成，数据规约，数据变化和离散化特征工程之One-Hot编码、label-encoding、自定义编码卡方分箱、KS分箱、最优IV分箱、树结构分箱、自定义分箱特征选取之单变量统计、基于模型选择、迭代选择机器学习八大经典分类万能算法——代码+案例项目开源、可直接应用于毕设+科研项目。
XGBoost参数调优
hhy518518的专栏
02-12 5916
摘要： 转载：http://blog.csdn.net/han_xiaoyang/article/details/52665396 1. 简介 如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。  构造一个使用XGBoost的模型十分简单。但是，提高这个模型
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值