Xgboost官方文档的解读(python)

最新推荐文章于 2024-10-11 07:18:55 发布
最新推荐文章于 2024-10-11 07:18:55 发布
阅读量3.9k 收藏 26
点赞数 1
分类专栏： NLP 文章标签： python xgboost
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41545780/article/details/90168475
版权

Xgboost的官方文档在这里

https://xgboost.readthedocs.io/en/latest/

我们今天直接从代码部分开始学习
见下图黑色圈内的部分
在这里插入图片描述

首先来看XGBoost参数（黑圈里的第二行）


在运行XGBoost之前，一定要设定好三类参数：
一般参数：即我们使用什么基学习器模型（一般树？线性模型？）来构建boosting算法（这里没有boosting算法的同学请自己简要补一下集成学习的课。。）
booster参数：这取决于上面一般参数的选择
学习任务参数：决定模型的学习方案
还有一个指令行参数，说是与console version的xgboost有关 似乎是稍微次要一些的参数

首先来看一般参数
在这里插入图片描述

  • booster：默认为gbtree（gradient boosting tree 梯度提升树） 我们还可以换成gblinear或者dart（decision and regression tree）。其中，gbtree和dart使用树模型而gblinear使用线性模型（这是显而易见的，顾名思义）
  • silent：默认为0。好像官方极不推荐把它调成非0，强烈建议用verbosity
  • verbosity：默认为1.似乎是出现异常、非期望行为时的反馈信息严重度。0为不反馈silent，1是警告，2是info，3是debug
  • nthread：多线程的线程数，默认为可能的最大值
  • disable_default_eval_metric：默认为0，若设为>0则禁止default metric（似乎是禁用默认评价函数）
  • num_pbuffer、num_feature:xgboost 自动设置 不管了

接下来看树模型的booster参数
参数太多了 图就不截了
这些参数是

  • List item

  • eta [default=0.3, alias: learning_rate]
    eta默认0.3，取值范围是 [0,1]，是更新收缩的描述，使得每一次更新权重时收缩它以防止过拟合

  • gamma [default=0, alias: min_split_loss]取值范围[0,∞]
    树节点进行一次分叉所需的最小的损失降低
    gamma越大，似乎是算法具有更强的泛化能力。

  • max_depth [default=6]树的最大深度 默认是6，增加此值会使模型更复杂、更容易过拟合。仅当tree_method设为hist时允许设为0，此时0的意思是没有深度限制 当然这也会使用更多的内存

  • min_child_weight [default=1] 默认为1 取值为[0,∞] 越大、具有更强的泛化能力。
    这里参考（更多内容参照下面这个帖子）

https://blog.csdn.net/m0_37477175/article/details/79991198
決定最小葉子節點樣本權重和。如果在一次分裂中，葉子節點上所有樣本的權重和小于min_child_weight則停止分裂，能夠有效的防止過擬合，防止學到特殊樣本。

  • max_delta_step [default=0]最大delta步 默认为0，0意味着没有限制，若设为一个正数，它将让我们的模型具有更强的泛化能力。通常不需要，但是当逻辑斯特回归中分类非常不均衡时使用这个参数设置为1-10

  • subsample [default=1] 下采样率，若设为0.5意味着算法会随机从训练集的一半进行采样先验来使得树生长，防止过拟合。下采样在每次boosting迭代时进行 范围(0,1]

  • colsample_bytree, colsample_bylevel, colsample_bynode [default=1] 这是一族下采样参数 每一个都是(0, 1]默认为1

  • 这里待补充 给个原图先
    在这里插入图片描述

  • lambda [default=1, alias: reg_lambda]

L2 正则化项权重 越大则泛化能力越强

  • alpha [default=0, alias: reg_alpha]

L1 正则化项权重 越大则泛化能力越强

  • tree_method string [default= auto]使用的树的类型
    可选的种类为: auto, exact, approx, hist, gpu_exact, gpu_hist
    auto: 用启发式算法来找最快的方法 对中小数据集使用精确贪心方法、对大数据集使用近似算法（使用时会弹出相应信息）对
    exact: Exact greedy algorithm.精确贪心算法
    approx: 用 quantile sketch and gradient histogram.的近似贪心
    hist: Fast histogram optimized approximate greedy algorithm. It uses some performance improvements such as bins caching.（好像是一种矩形图优化的近似贪心算法）
    gpu_exact: GPU版exact
    gpu_hist: GPU 版 hist .

  • sketch_eps [default=0.03]仅在approx方法中用到，range: (0, 1)
    通常不要自己设置

  • scale_pos_weight [default=1] 控制正负权重的平衡 对非均衡分类有用 一种可以考虑的值为 反例数/正例数

  • updater [default= grow_colmaker,prune]通常自动设置 取决于其它参数

在这里插入图片描述

  • refresh_leaf

[default=1]刷新叶 若为1 树的叶和结点状态更新 当为0 仅后者更新

  • process_type [default= default]可选为default 和 update

default: 创建新树的普通boosting过程
update: 从一个存在的模型开始，仅更新树. 若为update, 不可引入更新插件

  • grow_policy [default= depthwise]控制一路新结点并加到树上仅支持tree_method = hist
    Controls a way new nodes are added to the tree.
    可选： depthwise, lossguide
    depthwise: 分裂离root最近的结点
    lossguide: 分裂最高loss change的结点

  • max_leaves [default=0]可加的最大结点数 仅在grow_policy=lossguide设置

  • max_bin, [default=256]仅在 tree_method=hist时设置 最大的分离bin来盛放连续特征 增加会优化分叉、消耗更多时间

  • predictor, [default=cpu_predictor]可选gpu_predictor: 仅在 tree_method is gpu_exact or gpu_hist是可用

  • num_parallel_tree, [default=1] - 每次迭代时的并行树的数目，这个参数是为了支持随机森林算法的。Number of parallel trees constructed

Additional parameters for Dart Booster
决策回归树中额外参数 因为没用这个 没有太看 附图
在这里插入图片描述

线性模型中的参数 先上图
在这里插入图片描述
这里很多都是和上面类似的，有一个top_k值得关注 默认是0 这里是选择的前k个特征（使用greedy或thrifty）为0则使用所有特征

GPU支持及算法

按照官方文档说明，需要首先安装好Xgboost

pip3 install xgboost

在这里插入图片描述
这里有两点note，一个是在说这个xgboost的whl支持GPU算法（gpu_exact, gpu_hist）
需要用英伟达显卡
多卡仅Linux系统支持
whl仅提供给64位LINUX和windows系统

接下来回到原来的GPU SUPPORT界面，看第一部分内容
1.CUDA Accelerated Tree Construction Algorithms
在参数中，tree_method表示使用的算法类别（即上面那个括号里的exact和hist）
在这里插入图片描述
其中，gpu_exact是标准XGBOOST算法，对树分叉执行精准搜索
比gpu_hist慢、占用更多内存
而，gpu_hist是xgboost直方图算法？（这里我是直翻，可能不太对）
记住它比gpu_exact使用更少的内存且有更快的速度就行了，但是如果你的GPU是比帕斯卡架构更老的GPU（10系之前的，如980TI），那就会运行得很慢

两个算法各自支持的参数如下：
在这里插入图片描述
可以使用gpu的方法的同时使用cpu_predictor以节省显存（不过以现在的GPU性能 好像不会这么干）
下面是GPU支持的目标函数
在这里插入图片描述
下面是GPU支持的描述函数
在这里插入图片描述

CPU VS GPU的性能对比在这里插入图片描述

接下来研究python上实现xgboost

https://github.com/dmlc/xgboost/tree/master/demo/guide-python是一个例程
https://xgboost.readthedocs.io/en/latest/python/python_api.html是python的API说明

xgboost可以加载下面这些数据类型
LibSVM text format file
Comma-separated values (CSV) file
NumPy 2D array
SciPy 2D sparse array
Pandas data frame, and
XGBoost binary buffer file.

注：

  • 1.不支持离散类别型特征，请用onehot处理后再输入
  • 2.关于pandas数据集有表头的情况，见下面的csv读取格式

在这里插入图片描述
在这里插入图片描述

设置参数

很容易 用list和dict即可
在这里插入图片描述

训练

先建立模型（使用上面的参数）
训练后可以存储模型 也可以加载训练好的模型
可以将模型和特征映射存进文本文件
在这里插入图片描述

early停止和预测

在这里插入图片描述

画图

在这里插入图片描述

Python手册(Machine Learning)--XGBoost
WilenWu
03-28 1306
xgboost 在 xgb.train中通过参数obj和custom_metric来自定损失函数和评估函数。自定义损失函数接受predt和dtrain作为输入，返回损失函数的一阶(grad)和二阶(hess)导数。'''自定义损失函数后，模型的输出不在是 [0,1] 概率输出，而是 sigmoid 函数之前的输入值。因此，需要写出对应的评估函数。评估函数也接受predt和dtrain作为输入，返回本身的名称和浮点值作为结果。
【Python篇】深入机器学习核心：XGBoost 从入门到实战
半截诗的博客~
09-21 5356
XGBoost 是 Python 中的一个高效梯度提升机器学习库，广泛应用于分类、回归等任务，特别在处理大规模数据时表现出色。它提供了强大的并行化能力和超参数调优工具，是机器学习竞赛和生产环境中的常用选择。本教程带你从基础安装到高级模型优化，全面掌握 XGBoost 的使用技巧。
XGBoost 中文文档教程
最新发布
gitblog_00343的博客
10-11 422
XGBoost 中文文档教程 xgboost-doc-zh XGBoost 中文文档 项目地址: https://gitcode.com/gh_mirrors/xg/xgboost-doc-zh ...
xgboost-doc-zh:XGBoost中文文档
04-06
XGBoost中文文档 XGBoost是一个优化的分布式渐进增强库，可以实现高效，灵活和便携。 它在框架下实现机器学习算法.XGBoost提供并行树提升（也称为GBDT，GBM），可以快速准确地解决许多数据科学问题。相同的代码在主要的分布式环境（Hadoop，SGE，MPI ）上运行，并且可以解决数十亿个示例之外的问题。 程序员的麻烦在于，你无法弄清他在捣腾什么，当你最终弄明白时，也许已经晚了。 翻译进度 项目翻译xgboost 0.90 贡献者：记得留言和更新翻译进度 地址： : 项目看板 项目XGBoost 0.90看板 负责人：记得更新和优化 地址： : 项目负责人 格式：GitHub + QQ 第一期（2017-xx-xx） ：1042658081 ：190442212 第2期（2019-07-07） ：1097828409 ：1185685810 -负责人要求：
xgboost官方文档解析
billyyann
01-22 491
xgboost官方文档解析撰写文档动机Abstract损失函数迭代Leaf Node Split Details结语 撰写文档动机 网上有很多解析xgboost算法的文章， 对算法的解析有一些问题： 一是没有独立简介，成文这篇抄那篇； 二是逻辑混乱，一些算法大佬写文章出于记笔记的心态就没打算把算法讲清楚， 小白盲人摸象讲了很多细节，却没有整体视角； 三是深度的把控， 撰写社区文字不是撰写论文, 如...
python中xgboost说明文档
baidu_15113429的博客
09-18 633
https://xgboost.readthedocs.io/en/latest/python/python_api.html
pythont xgboost 速度快效果好的boosting模型 文档
05-09
pythont xgboost 速度快效果好的boosting模型 文档
XGboost和GBDT区别及解读XGboost参数
GavinKai
04-05 730
GBDT和XGBoost区别 传统的GBDT以CART树作为基学习器，XGBoost还支持线性分类器，这个时候XGBoost相当于L1和L2正则化的逻辑斯蒂回归（分类）或者线性回归（回归）； 传统的GBDT在优化的时候只用到一阶导数信息，XGBoost则对代价函数进行了二阶泰勒展开，得到一阶和二阶导数； XGBoost在代价函数中加入了正则项，用于控制模型的复杂度。从权衡方差偏差来看，它降低了模型的方差，使学习出来的模型更加简单，放置过拟合，这也是XGBoost优于传统GBDT
深度解读：XGBoost模型压缩包子文件分析
目前主流的编程语言如Python和R都提供了XGBoost的实现库。 5. 相关技术文档： "8-xgboost.pdf"这个文件名暗示了该PDF文件可能包含了关于XGBoost的详细文档、教程或者是某个特定版本（第8版）的说明文档。文档可能...
R & Python 中XGBoosting用法、易错点、调参方法及重要参数介绍
Yann_YU的博客
08-20 3244
由于网上关于XGBoosting的资料繁杂冗余，查阅使用起来较为不便，因此怀着“整理资料，以供备忘”的目的写下本文，部分为原创，部分为整理公开资料，并且会持续更新 关于XGBoosting的介绍和原理就不赘述来重复造轮子了，网上有各种清晰易懂的教程，之后有时间我可能会整理一版，至于Boosting的地位可以简单总结，就是目前几乎各大机器学习比赛的天梯池就是Boosting和Deep learning互相打，很少别的模型了。 XGBoosting用法、易错点、调参方法及参数介绍官方文档调参方法1. GridS
详细的介绍xgboost
04-03
内含两个xgboost的介绍讲解文件，一个是中文，一个是英文的。
p5-Alien-XGBoost：查找，并在必要时构建XGBoost库的外来软件包
02-05
2. **XGBoost**：XGBoost是一种高效的分布式梯度提升库，支持多种编程语言，包括Python、R、Java、Scala等。它在机器学习领域广泛用于分类、回归以及特征选择。 3. ** Alien框架**：Perl的Alien模块提供了一种统一...
机器学习算法解析:XGBoost与LightGBM
AI天才研究院
07-01 447
机器学习算法解析:XGBoost与LightGBM 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：XGBoost, LightGBM, 高效特征选择, 并行化训练, 自动调参, 弱分类器集成
python提升算法2_XGBOOST_docs_Python使用英译汉
u012338969的博客
05-14 397
1 Python Package Introduction 由于xgboost使用文档内容较多，时间有限，此文进队文档中的Python Package Introduction(Python软件包简介)介绍给出翻译，文档网址https://xgboost.readthedocs.io/en/stable/python/python_intro.html#install-xgboost [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Yv5vVPOM-1652526423857)
探秘高性能机器学习库：XGBoost 的中文文档解析
gitblog_00009的博客
04-16 385
探秘高性能机器学习库：XGBoost 的中文文档解析 xgboost-doc-zh XGBoost 中文文档 项目地址: https://gitcode.com/gh_mirrors/xg/xgboost-doc-zh ...
XGBoost参数详解（API文档）
qq_43751506的博客
10-06 6456
** XGBoost参数 ** 在运行XGBoost之前，我们必须设置三种类型的参数：常规参数，增强器参数和任务参数。 一般参数与我们用来进行增强的助推器有关，通常是树状模型或线性模型 增压器参数取决于您选择的增压器 学习任务参数决定学习场景。例如，回归任务可以对排名任务使用不同的参数。 命令行参数与XGBoost的CLI版本的行为有关。 常规参数 booster[默认= gbtree] 使用哪个...
XGBoost原理及公式推导(参考官网文档)
公众号：瑞行AI
01-11 3314
https://github.com/dmlc/xgboost/blob/master/doc/model.md#additive-training Additive Training First thing we want to ask is what are the parameters of trees? You can find that what we need to learn...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值