xgboost简易推导

最新推荐文章于 2024-04-30 15:33:58 发布
置顶 最新推荐文章于 2024-04-30 15:33:58 发布
阅读量337 收藏
点赞数 1
分类专栏： MyCode 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/H_hei/article/details/104720974
版权

xgboost是一个集大成的算法，下面仅仅是一个简单的推导过程，其中的算法思想需要我们去深入理解掌握，若有问题，欢迎提出探讨。
在这里插入图片描述

丿回到火星去
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Xgboost简易入门教程
lc434699300的博客
04-16 1343
 　最近准备研究一下信贷风控中机器学习模型评分卡的制作。信贷评分卡分为两种，一种是用逻辑回归，称为评分卡；一种是用集成学习算法，称为机器学习模型。逻辑回归算法相对简单，但是解释性要求高；机器学习模型理论上效果要更好一点，但是无法解释，而且模型容易不稳定。于是找了一下网上能找到的关于机器学习模型做评分卡的案例，主要有拍拍贷比赛实例、金融风控实战、kaggle上的Home Credit Defaul...
xgboost原理与推导
u010899985的博客
08-05 6058
　　GBDT和xgboost在工业界被越来越多的使用，尤其是在一些数据比赛中经常能看到它的身影，虽然在使用起来不难，但是要能完整的理解还是有一点麻烦的。本文在分享xgboost之前，先一步一步梳理GB，GBDT，xgboost，它们之间有非常紧密的联系，GBDT是以决策树（CART）为基学习器的GB算法，xgboost扩展和改进了GDBT，xgboost算法更快，准确率也相对高一些。 1.梯度增...
GBDT算法的优缺点
热门推荐
suv1234的博客
05-20 2万+
优点： 预测精度高 适合低维数据 能处理非线性数据 缺点： 并行麻烦（因为上下两棵树有联系） 如果数据维度较高时会加大算法的计算复杂度
机器学习面试必知：GBDT
Neekity的博客
03-05 740
Freidman提出了梯度提升算法，利用最速下降法的近似方法，关键是利用损失函数的负梯度在当前模型的值−[∂L(y,f(xi))∂f(xi)]f(x)=fm−1(x)-[\frac{\partial L(y,f(x_{i}))}{\partial f(x_{i})}]_{f(x)=f_{m-1}(x)}−[∂f(xi​)∂L(y,f(xi​))​]f(x)=fm−1​(x)​作为回归问题提升树算...
GBDT的优点和缺点_参数
wj1298250240的博客
01-03 7534
GBDT的优点和缺点_参数 优点、 缺点和参数。 梯度提升决策树是监督学习中最强大也最常用的模型之一。 其主要缺点是需要仔细调参，而且训练时间可能会比较长。 与其他基于树的模型相同，它也通常不适用于高维稀疏数据 优点： 与其他基于树的模型类似，这一算法不需要对数据进行缩放就可以表现得很好，而且也适用于二元特征与连续特征同时存在的数据集。 参数： 梯度提升树模型的主要参数包括 树的数量 n_esti...
xgboost算法_Xgboost调参小结
weixin_39806288的博客
11-18 356
 　XGBoost全称是eXtreme Gradient Boosting，由陈天奇所设计，和传统的梯度提升算法相比，XGBoost进行了许多改进，它能够比其他使用梯度提升的集成算法更加快速。关于xgboost的使用教程以及推导过程可以参考之前写的文章。xgboost简易入门教程常用机器学习算法的原理推导 　本文主要介绍xgb算法的调参过程，xgb本质上是boosting方法，即通过在数据上逐一构...
一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战
最新发布
m0_74932057的博客
04-30 527
变换后的目标函数可以被二阶泰勒展开，使得目标函数在每个节点的损失函数可以被表示为关于该节点预测值的二次函数，这样可以在计算最优分裂点时，使用牛顿法或拟牛顿法等高效的优化算法来求解。变换后的目标函数可以解决梯度爆炸和梯度消失问题，这是由于使用指数函数和对数函数进行变换，将目标函数的值范围映射到了一个合适的区间，从而避免了数值溢出和数值不稳定的情况。变换后的目标函数可以解决分类问题的类别不平衡问题，这是由于在分类问题中，负样本数量通常远大于正样本数量，导致算法容易偏向于负样本。
xgboost算法_GBDT 算法：原理篇
weixin_39745724的博客
11-04 128
本文由云+社区发表GBDT 是常用的机器学习算法之一，因其出色的特征自动组合能力和高效的运算大受欢迎。 这里简单介绍一下 GBDT 算法的原理，后续再写一个实战篇。1、决策树的分类决策树分为两大类，分类树和回归树。分类树用于分类标签值，如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面；回归树用于预测实数值，如明天的温度、用户的年龄、网页的相关程度；两者的区别：分类树的结果不能进行加减运算，晴天 ...
XGBoost 介绍
monomail的博客
01-03 547
本文摘抄自科赛的一篇文章XGBoost，作者：老师。 >讲述XGBoost的每个组成成分，由浅入深，慢慢陈述XGBoost的故事。 XGBoost 简介 CARTClassification and Regression Tree 分裂指标分类树Gini指数 例子 对于Categorical变量 对于连续变量 CART算法分类树无剪枝 CART回归树部分 附录 Boostin
简易kcf推导演示
05-13
标题中的“简易kcf推导演示”指的是一个关于KCF（Kernelized Correlation Filter）算法的简化版本，这个算法主要用于目标检测和跟踪。KCF是一种高效的目标跟踪技术，它利用了光流信息和循环卷积来提高跟踪速度和准确...
gbdt到xgboost的一些理论推导.rar
05-05
标题中的“gbdt到xgboost的一些理论推导”指的是从梯度提升决策树（Gradient Boosting Decision Tree, GBDT）过渡到XGBoost这一机器学习算法的过程。GBDT和XGBoost都是用于回归和分类任务的集成学习方法，它们在实际...
元组推导式代码python
08-24
元组推导式代码python 元组推导式（Tuple Comprehension）是 Python 中一种强大且灵活的数据结构，它可以快速生成大量数据。以下是对元组推导式的详细解释： 什么是元组推导式？ 元组推导式是 Python 中的一种...
softmax函数推导
01-01
softmax函数的详细推导过程，看完了就知道softmax怎么来的为什么这么弄。
SVM推导过程
03-26
线性可分支持向量机 线性支持向量机 数据近似线性可分 非线性支持向量机 数据线性不可分
操作系统模拟实验—短作业调度算法（SJF）Python实现
丿回到火星去
04-01 3834
本次实验是基于Python3.x的环境. INPUT_DATA = [('A',1,5), ('B',4,5), ('C',2,3), ('D',10,2)] # 模拟文件 (作业名字， 作业到达时间， 作业运行时间) ALL_JOB = [] # 从文件读进来的作业 ARRIVED_JOB = [] #就绪队列 import time from math import ceil cla...
操作系统模拟实验—高优先权优先调度算法JS实现
丿回到火星去
04-13 2079
高优先权优先调度算法 优先级调度的含义 当该算法用于作业调度时，系统从后备作业队列中选择若干个优先级最高的，且系统能满足资源要求的作业装入内存运行。 当该算法用于进程调度时，将把处理机分配给就绪进程队列中优先级最高的进程。 调度算法的两种方式 优先级调度算法细分成如下两种方式： 非抢占式优先级算法 在这种调度方式下，系统一旦把处理机分配给就绪队列中优先级最高的进程后，该进程就能一直执行下去...
多标签分类评估方式（Metrics for measuring the prediction quality of a multi-label system）
丿回到火星去
04-17 1633
Metrics for measuring the prediction quality of a multi-label system 大多数情况下，机器学习，深度学习中我们经常面对的分类问题大多是二分类，多类问题，但是有时候我们也会有多标签分类问题的产生。 对于多标签问题，我们需要一个合理客观的评价这个分类器好坏的方式，在这里根据 Some remarks on predicting mult...
滑动平均模型（MA）—tensorflow
丿回到火星去
03-26 1138
在采用梯度下降的方式训练神经网络的时候，我们使用滑动平均模型会在一定的程度上提高最终模型在测试集上的表现。 在TensorFlow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型，在初始化ExponentialMovingAverage的时候，需要提供一个衰减率（decay）。这个衰减率将来控制模型更新的速度，ExponentialMovingAver...
xgboost数学推导
05-03
XGBoost，全名为eXtreme Gradient Boosting，是一种基于决策树的集成学习算法。它结合了Gradient Boosting算法和决策树算法的优点，在许多机器学习竞赛中取得了显著的成绩。 下面是XGBoost的数学推导： XGBoost的目标函数为： $$ Obj = \sum_{i=1}^{n}l(y_i, \hat{y_i}) + \sum_{k=1}^{K}\Omega(f_k) $$ 其中，$n$为样本数，$y_i$为第$i$个样本的真实值，$\hat{y_i}$为第$i$个样本的预测值，$l(y_i, \hat{y_i})$为损失函数，$K$为树的数量，$\Omega(f_k)$为正则化项。正则化项的目的是防止过拟合，它包括树的叶子节点数量和叶子节点分数的二阶范数。 XGBoost使用Gradient Boosting算法进行训练，Gradient Boosting算法的核心思想是迭代地训练一组弱学习器，将它们组合成一个强学习器。每一次迭代都会添加一个新的树模型，它的预测值是前面树模型的预测值和当前树模型的预测值的加权和。 因此，我们需要定义一个损失函数$L$，它是所有树模型预测值和真实值之间的差距的加权和，即： $$ L = \sum_{i=1}^{n}l(y_i, \hat{y_i}) + \sum_{k=1}^{K}\Omega(f_k) $$ 其中，$\hat{y_i}$为所有树模型预测值的加权和。 为了最小化损失函数$L$，我们需要对每个树模型的预测值进行求解。我们可以使用梯度下降算法来优化损失函数，其中梯度是损失函数关于当前模型的导数。 对于第$k$个树模型，我们需要求解其预测值$f_k(x_i)$，它可以表示为： $$ f_k(x_i)=f_{k-1}(x_i)+h_k(x_i) $$ 其中，$f_{k-1}(x_i)$为前$k-1$个树模型的预测值，$h_k(x_i)$为第$k$个树模型的预测值。 我们可以使用泰勒展开式来近似$h_k(x_i)$： $$ h_k(x_i) = \sum_{j=1}^{J}w_{j,k} I(x_i\in R_{j,k}) $$ 其中，$w_{j,k}$为第$j$个叶子节点的分数，$R_{j,k}$为第$j$个叶子节点的区域。 我们需要对每个叶子节点的分数进行求解，可以使用最小二乘法来求解。对于第$j$个叶子节点，我们需要求解其分数$w_{j,k}$，它可以表示为： $$ w_{j,k}=-\frac{\sum_{x_i\in R_{j,k}}g_i}{\sum_{x_i\in R_{j,k}}h_i+\lambda} $$ 其中，$g_i$为损失函数关于预测值的一阶导数，$h_i$为损失函数关于预测值的二阶导数，$\lambda$为正则化参数。 最后，我们可以使用梯度下降算法来更新每个树模型的预测值。对于第$k$个树模型，我们需要将其预测值$f_k$更新为： $$ f_k(x_i)=f_{k-1}(x_i)+\eta\sum_{j=1}^{J}w_{j,k} I(x_i\in R_{j,k}) $$ 其中，$\eta$为学习率，它控制每个树模型的贡献大小。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值