XGB算法梳理

最新推荐文章于 2024-04-02 10:23:46 发布
最新推荐文章于 2024-04-02 10:23:46 发布
阅读量1.6w 收藏 45
点赞数 2
分类专栏： python machine learning 文章标签： xgboost ensemble learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangrongrongwq/article/details/86755915
版权

目录

 

1.CART树

2.算法原理

3.损失函数

4.分裂节点算法

5.正则化

6.对缺失值的处理

7.xgb的其他优化

8.xgb参数

9.xgb常问面试问题

1.CART树

CART树(分类与回归树)，可以用于分类也可以用于回归。其内部节点特征的取值为“是”和“否”，节点的左分支取值为“是”，节点de的右分支取值为“否”。对于回归树使用平均误差最小化准则，对于分类树使用ji基尼指数最小化准则。

2.算法原理

xgb就是Tree Ensemble。xgb就是K棵树的累加。

在这里 插入泰勒公式

在这里是，是，可以想成在原来损失函数的基础上添加使损失函数更小。

讲完了训练过程，需要讲一下正则项

另外xgb可以评估每个树的得分

因为可以评估每棵树的得分，所以可以枚举出所有的树，然后计算每棵树的得分，然后保留得分最高的树，但是实际中这样的操作是不现实的，所以xgb尝试优化树的每层。计算将该节点分裂的得分，然后将该节点分裂之后的得分与没有将该节点分裂的得分做差，从而来判断是否分裂该节点。

3.损失函数

3.1logistic损失函数

3.2对数损失函数

3.3平方误差损失函数

4.分裂节点算法

前面提到过，XGBoost每一步选能使分裂后增益最大的分裂点进行分裂。而分裂点的选取之前是枚举所有分割点，这称为精确的贪心法（Exact Greedy Algorithm）.当数据量十分庞大，以致于不能全部放入内存时，Exact Greedy 算法就会很慢。因此XGBoost引入了近似的算法。即对每一个特征进行「值」采样。原来需要对每一个特征的每一个可能分割点进行尝试，采样之后只针对采样的点（分位数）进行分割尝试，这种方法很明显可以减少计算量，采样密度越小计算的越快，拟合程度也会越差，所以采样还可以防止过拟合。

 

那么，现在有两个问题：

1.如何选取候选切分点Sk={sk1,sk2,⋯skl}呢？（即选择特征的哪些分位数作为备选的分裂点呢？）
2.什么时候进行候选切分点的选取？
针对问题2：
第二个方法执行采样的方式有两个，一种是global模式，一种是local模式。global模式是执行树生成之前采一次样，后面不再更新（ 学习每棵树前， 提出候选切分点）；local模式是每次split之后都再次进行一次采样（每次分裂前， 重新提出候选切分点）。不同的模式和不同的采样密度带来的效果如下图：

桶的个数等于 1 / eps， 可以看出:
全局切分点的个数够多的时候，和Exact greedy算法性能相当。
局部切分点个数不需要那么多，因为每一次分裂都重新进行了选择。

下面对第一个问题进行解答，选择哪些候选切分点。
对于问题1，可以采用分位数，也可以直接构造梯度统计的近似直方图等。
简单的分位数就是先把数值进行排序，然后根据你采用的几分位数把数据分为几份即可。而XGBoost不单单是采用简单的分位数的方法，而是对分位数进行加权（使用二阶梯度h），称为：Weighted Quantile Sketch。PS:上面的那个例子采用的是没有使用二阶导加权的分位数。

5.正则化

前面的算法原理已经讲了正则化，但是xgb中的其他ca操作也会fa防止过拟合

另外分裂节点算法的算法2分裂-分裂节点的近似算法也会防止过拟合。

6.对缺失值的处理

有很多种原因可能导致特征的稀疏（缺失），所以当遇到样本某个维度的特征缺失的时候，就不能知道这个样本会落在左孩子还是右孩子。xgboost处理缺失值的方法和其他树模型不同。根据作者TianqiChen在论文[1]中章节3.4的介绍，xgboost把缺失值当做稀疏矩阵来对待，本身在节点分裂时不考虑缺失值的数值，但确定分裂的特征后，缺失值数据会被分到左子树和右子树呢？本文的处理策略是落在哪个孩子得分高，就放到哪里。如果训练中没有数据缺失，预测时出现了数据缺失，那么默认被分类到右子树。具体的介绍可以参考：

7.xgb的其他优化

8.xgb参数

9.xgb常问面试问题

https://blog.csdn.net/weixin_43178406/article/details/86706979

参考资料

https://blog.csdn.net/weixin_43178406/article/details/86706979

https://xgboost.readthedocs.io/en/latest/tutorials/model.html

陈天奇论文与ppt

https://www.cnblogs.com/wxquare/p/5541414.html

https://www.cnblogs.com/wkslearner/p/8672334.html

https://x-algo.cn/index.php/2016/07/24/xgboost-principle/

https://www.hrwhisper.me/machine-learning-xgboost/

https://blog.csdn.net/a819825294/article/details/51206410

https://www.zhihu.com/question/41354392

http://www.mamicode.com/info-detail-2391137.html

futurewq
关注
  • 2
    点赞
  • 踩
  • 45
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习算法梳理第三篇--XGB
ai-july
04-10 600
目录 一. 算法原理 二. 分裂节点算法 三. 正则化 四. 对缺失值处理 五. 优缺点 六. 应用场景 七. sklearn参数 一. 算法原理 在数据建模中，当我们有数个连续值特征时，Boosting分类器是最常用的非线性分类器方法将成百上千个准确率较低的模型组合起来，成为一个准确率较高的模型，这个模型会不断的迭代，每次迭代就会产生一颗新的树，然而当数据集比较大比较复杂...
XGBoost算法概览
04-10
XGBoost算法概览，XGBoost Algorithm_ Long May She Reign。
数据分析利器：XGBoost算法最佳解析
hellozhxy的博客
12-10 2726
XGBoost是一种经典的集成式提升算法框架，具有训练效率高、预测效果好、可控参数多、使用方便等特性，是大数据分析领域的一柄利器。在实际业务中，XGBoost经常被运用于用户行为预判、用户标签预测、用户信用评分等项目中。XGBoost算法框架涉及到比较多数学公式和优化技巧，比较难懂，容易出现一知半解的情况。由于XGBoost在数据分析领域实在是太经典、太常用，最近带着敬畏之心，对陈天奇博士的Paper和XGBoost官网重新学习了一下，基于此，本文对XGBoost算法的来龙去脉进行小结。 本文重点解析XG
【机器学习】XGBoost 详细解读 （集成学习_Boosting_GBM）
Danger的博客
05-12 1355
【机器学习】XGBoost 详细解读 （集成学习_Boosting_GBM）
机器学习实战18-机器学习中XGBClassifier分类器模型的应用实战，以及XGBClassifier分类器的调优策略
最新发布
weixin_42878111的博客
04-02 1634
大家好，我是微学AI，今天给大家介绍一下机器学习实战18-机器学习中XGBClassifier分类器模型的应用实战，以及XGBClassifier分类器的调优策略。XGBClassifier是基于eXtreme Gradient Boosting (XGBoost)算法的分类器模型，在机器学习领域有着广泛应用。作为一种迭代的决策树提升方法，XGBClassifier通过集成多个弱学习器（通常是 CART 决策树）来构建强学习器，以实现对各类分类问题的高效预测。
xgboost机器学习算法通俗理解
AAS48的博客
08-11 223
通过这个例子，你可以更深入地理解 XGBoost 的原理：通过迭代训练多个决策树，每个决策树都试图纠正前面决策树的错误，最终将它们集成在一起，以获得更准确的预测结果。就像你在制作咖啡时，通过多次尝试和调整，最终得到了最好口味的咖啡一样，XGBoost 通过集成多个决策树的预测结果，得出了更准确的预测。通过这个例子，你可以理解 XGBoost 模型的原理：通过迭代训练多个决策树，每个决策树都试图纠正之前决策树的错误，最终将它们组合起来，以获得更准确的预测结果。：你的朋友会根据问题的回答，告诉你是否猜对了。
xgb原理及使用
xckkcxxck的博客
07-23 1460
以下文章均为他人博客，只是做一下汇总，便于整理学习。 xgb原理：http://blog.csdn.net/a819825294/article/details/51206410 xgb使用：http://blog.csdn.net/zc02051126/article/details/46771793 xgb调参：http://blog.csdn.net/han_xiaoyang/arti
xgb_python算法_xgboost_xgboost二分类_源码
10-02
xgboost二分类算法实现，带作图评价函数
XGBoost_XGB项目_
10-04
使用XGB算法对旅客航空信息进行特征筛选，分析，分类处理。
人工智能与内容安全风控-4-2 纵向联邦 XGB 算法.zip
05-30
人工智能与内容安全风控-4-2 纵向联邦 XGB 算法
数据竞赛XGB模型源码
11-30
经历数据竞赛后，大佬们的总结源码，学习思考后整理除一些源码，语言用python编写
XGBoost算法使用代码示例
10-06
XGBoost算法使用代码示例讲解，由原作者创作，语言使用R语言
防止过拟合（笔记）
01-06
一、正则化 所有的有监督机器学习，无非就是正则化参数的同时最小化经验误差函数。最小化经验误差是为了极大程度的拟合训练数据，正则化参数是为了防止过分的拟合训练数据。                                            λ 为正则化系数，通常是大于 0 的，是一种调整经验误差项和正则化项之间关系的系数。 L1 范数就是矩阵中各元素绝对值之和； L2 范数是指矩阵中各元素的平方和后的求根结果。正则化的原理在于最小化参数矩阵的每个元素，使其无限接近于 0    L1 就是江湖上著名的 lasso，L2 则是岭回归                            
机器学习之XGBoost分类器XGBClassifier-- xgb使用sklearn接口
kwame211的博客
02-25 2205
机器学习之XGBoost分类器XGBClassifier # -*- coding: utf-8 -*- """ @author: abc """ ''' xgb使用sklearn接口(推荐)--官方: 会改变的函数名是： eta -> learning_rate lambda -> reg_lambda alpha -> reg_...
RF, GBDT, XGB区别
weixin_34199335的博客
03-11 670
GBDT与XGB区别1. 传统GBDT以CART作为基分类器，xgboost还支持线性分类器(gblinear)，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）2.传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶...
树模型(六)：XGBoost
热门推荐
雪伦的专栏
04-21 18万+
文章内容可能会相对比较多，读者可以点击上方目录，直接阅读自己感兴趣的章节。1.序　　距离上一次编辑将近10个月，幸得爱可可老师（微博）推荐，访问量陡增。最近毕业论文与xgboost相关，于是重新写一下这篇文章。　　关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT、论文、一些网络资源，希望对xgboost原理进行深入理解。（笔者在最后的参考文献中会给出地
最短路径dijkstra算法精品代码（超详解）
KING_阿飞的博客
08-13 3万+
一：简介 　　这个算法用于解决图中单源最短路径问题。所谓单源节点是指给定源节点，求图中其它节点到此源节点的最短路径。如下图所示：给定源节点a，求节点b到a的最短距离。 (图来自于参考资料2) 那么如何寻找？还是以上图为例： 1）初始化：设定除源节点以外的其它所有节点到源节点的距离为INFINITE(一个很大的数)，且这些节点都没被处理过。 ...
机器学习xgboost实战—手写数字识别
Eddy_zheng的博客
01-11 2万+
1、xgboost 安装安装问题这里就不再做赘述，可参考前面写的博文： http://blog.csdn.net/eddy_zheng/article/details/501845632、手写数字识别这里先说明下，xgboost用作手写字符的分类效果并不是最好的，这里仅仅作为一个教学的实例。本文中用的数据集来自kaggle 的新手入门数字识别（https://www.kaggle.com
SVM RF XGB
11-25
SVM（支持向量机）是一种监督学习算法，用于分类和回归分析。它可以将数据分为两个类别，也可以用于多类别分类。SVM的目标是找到一个超平面，将数据分为两个类别，并使得两个类别之间的间隔最大化。SVM的优点是可以处理高维数据，具有较高的准确性和泛化能力。但是，SVM的训练时间较长，对于大型数据集来说可能不太适用。 RF（随机森林）是一种集成学习算法，它由多个决策树组成。RF的目标是通过投票来确定每个决策树的结果，从而提高整体准确性。RF的优点是可以处理高维数据，对于缺失数据和噪声具有较好的鲁棒性，且训练速度较快。 XGB（XGBoost）是一种梯度提升算法，它由多个决策树组成。XGB的目标是通过迭代来逐步提高整体准确性。XGB的优点是可以处理高维数据，对于缺失数据和噪声具有较好的鲁棒性，且训练速度较快。在数据挖掘比赛中，XGB通常是一种常用的算法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值