xgboost为什么用泰勒展开？是有放回选特征吗？

最新推荐文章于 2023-10-20 19:53:24 发布
最新推荐文章于 2023-10-20 19:53:24 发布
阅读量2.6k 收藏 4
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35290785/article/details/97564177
版权

xgboost为什么用泰勒展开？是有放回选特征吗？

而GBDT的这部分则是基于前t-1次的预测值yt-1处做一阶的泰勒展开，这也是Xgboost改进的地方，泰勒二阶近似比一阶近似更接近真实的Loss Fnction，自然优化的更彻底

 

实际上使用二阶泰勒展开是为了xgboost能够【自定义loss function】，如果按照最小二乘法的损失函数直接推导，同样能够得到陈大佬最终的推导式子：

二阶泰勒展开实际不是最小二乘法，平方损失函数的二阶泰勒展开=最小二乘法。但陈佬为何想用二阶泰勒展开呢，我猜是为了xgboost库的可扩展性，因为任何损失函数只要二阶可导即能【复用】陈大佬所做的关于最小二乘法的任何推导。而且泰勒的本质是尽量去模仿一个函数，我猜二阶泰勒展开已经足以近似大量损失函数了，典型的还有基于分类的对数似然损失函数。嘿，这样同一套代码就能完成回归或者分类了，而不是每次都推导一番，重写训练代码

贾世林jiashilin
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
用while语句写出sinx的泰勒展开式 while语句 sinx的泰勒展开式
11-14
用while语句写出sinx的泰勒展开式。 while语句 sinx的泰勒展开式
泰勒公式推导过程_最详细的XGBoost推导过程--关于XGBoost我所知道的一切
weixin_39526741的博客
11-27 484
故事要从一次面试开始，面试官：你平时用XGBoost，我：是的，面试官：方便问一些细节吗？我：可以，面试官：能不能把ID3和C4.5的公式推导一下，我：......我只记得ID3是增益，C4.5是增益率了......于是这次面试就不愉快的结束了。使用XGBoost建模很多年了，从最初对这个算法的盲目崇拜，到后续的不断深入了解，通过自己详细的推导，可以说我已经对他有了一些自己的认识，...
为什么xgboost要用泰勒展开，优势在哪里？
最新发布
weixin_48331187的博客
10-20 270
1. 引入二阶信息：XGBoost在泰勒展开中使用了二阶导数（Hessian矩阵），主要是为了引入更多的学习率信息。传统的梯度提升树只使用了一阶导数（梯度）信息。总的来说，XGBoost使用泰勒展开有助于引入二阶信息、加速模型训练、提供准确的预测和模型正则化，从而提高模型的性能和鲁棒性。4. 模型正则化：XGBoost在泰勒展开的基础上引入了正则化项，如L1和L2正则化，用于控制模型的复杂度和过拟合的风险。通过引入二阶信息，可以更精确地确定每一步的学习率，从而减少迭代的次数，提高训练速度。
XGBoost算法详解
bb8886的博客
04-19 412
GBDT的代价函数中是没有正则项。叶子结点的值用ω表示，我们假设 15 这个叶节点用 ω1 表示，12 这个叶子结点用 ω2 表示，20 这个叶子结点用 ω3 表示。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数。（4）考虑了训练数据为稀疏值的情况，可以为缺失值或者指定的值指定分支的默认方向，这能大大提升算法的效率。为缺失值（或者指定的值未出现的值）指定分支的默认方向，预测时自动将缺失值的划分到这一分支。
xgboost为啥使用二阶泰勒展开？
jzwei023的博客
09-13 2971
1. 直接理解一阶导指引梯度方向，二阶导指引梯度方向如何变化，所以二阶信息本身就能让梯度收敛更快更准确。 这里可以对比牛顿法和SGD。牛顿法是二阶收敛，梯度下降是一阶收敛，当初始点选取合理的情况下，牛顿法比梯度下降法收敛的速度快。通俗的讲，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光
XGBoost二阶泰勒展开公式推导
nageaixiaodenanhai的博客
08-03 6532
转载:https://blog.csdn.net/bu2_int/article/details/80278857
一文读懂XGBoost（含公式推导）
cz的博客
12-06 7177
1.简介 XGBoost的全称是eXtreme Gradient Boosting，它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具，它是目前最快最好的开源 boosting tree工具包，比常见的工具包快10倍以上。在数据科学方面，有大量的Kaggle选手选用XGBoost进行数据挖掘比赛，是各大数据科学比赛的必杀武器；在工业界大规模数据方面，XGBoost的分布式版本有广泛的可移植性，支持在Kubernetes、Hadoop、SGE、M
matlab泰勒展开计算反正切函数
07-30
matlab泰勒展开计算反正切函数
(3 条消息) 机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？ - 知乎1
08-03
2. **二阶泰勒展开**：在优化过程中，XGBoost不仅考虑了一阶导数信息，还引入了二阶导数，即代价函数的二阶泰勒展开，这使得模型能够更精确地拟合数据。 3. **正则化项**：XGBoost在目标函数中添加了正则化项，控制...
基于matlab实现泰勒级数展开多项式插值
01-06
对于一维函数y=2*x^3-3*x^2+2*x+0.5，在计算域等距选取4个点，取其解析解作为插值基点，构造基于泰勒级数展开式的多项式函数并通过所构造的函数计算(0,1)区间内等距分布的100个离散点的值 最后计算构造函数与原函数...
基于泰勒展开式的双二极管模型显示表达
04-16
因此，本文利用泰勒级数展开式将隐式双二极管模型建模成显式解析模型。为了进一步获得不同光强、温度条件下显式解析模型中的电池参数值，本文提出两个新的参数提取模型。最后，选择不同材料的硅太阳能组件验证本文...
机器学习（二）
weixin_42161578的博客
08-19 2318
1、xgboost为啥用二阶泰勒展开 利用泰勒公式去逼近任何函数，在GBDT一阶导数的基础上引入二阶导更加精确同时在二阶导的基础上可以转化为关于叶子结点权重的一元二次方程，在顺序扫描计算增益损失时更加精准，因为本身二阶导在推导过程中可以更精确的反应梯度是如何变化的，从而更精确的实现loss下降 同时因为xgboost的损失函数是基于MSE的，这样有更好的扩展性，任何可以进行二阶泰勒展开的都可以自定义其损失函数，既可分类也可回归。 2、过拟合的解决方案 重新清洗样本，增加样本数量进行样本集扩充，最简单
【机器学习】集成学习（Boosting）——XGBoost算法（理论+图解+公式推导）
CSDN 精品推荐
08-28 8611
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录一、引言二、XGBoost算法1.xgboost算法原理2.构造目标函数3.泰勒级数近似目标函数4.将树结构引入目标函数4.1 表示第k棵树的预测值4.2 表示树的模型复杂度4.3 参数化目标函数5.贪心算法构建最优树 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 一、引言 XGBoost是陈天奇等人开发的一个开源机器学习项目，.
通俗、有逻辑的写一篇说下Xgboost的原理，供讨论参考
热门推荐
就俩字，咱们要做精通，不做熟悉
07-25 8万+
初看Xgboost，翻了多篇博客发现关于xgboost原理的描述实在难以忍受，缺乏逻辑性，写一篇供讨论。——以下是抛砖引玉。 观其大略，而后深入细节，一开始扎进公式反正我是觉得效率不高，还容易打消人的积极性。首先说下决策树 决策树是啥？ 举个例子，有一堆人，我让你分出男女，你依靠头发长短将人群分为两拨，长发的为“女”，短发为“男”，你是不是依靠一个指标“头发长短”将人群进行了划分，你就形成了一个
为什么XGBoost效果更好，速度更快
仍歌杨柳春风
10-25 7953
xgboost 是一种集成学习方法，通过构建多棵决策树来实现分类和回归任务。 本文记录了xgboost的公式推导和系统实现的一些trick。 具体内容参加原论文《XGBoost: A Scalable Tree Boosting System》 模型描述 对于一棵决策树，给定以下符号表示 ∣T∣|T|∣T∣: 此棵树的叶子节点数 q(x)q(\textbf{x})q(x): x\textbf{x}...
终于有人说清楚了--XGBoost算法
mantch
07-10 1万+
文章目录1. 什么是XGBoost1.1 XGBoost树的定义1.2 正则项：树的复杂度1.3 树该怎么长1.4 如何停止树的循环生成2. XGBoost与GBDT有什么不同3. 为什么XGBoost要用泰勒展开，优势在哪里？4. 代码实现5. 参考文献 1. 什么是XGBoost XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广...
RF、GBDT、XGBOOST常见面试算法整理
Tong
07-09 7541
1、RF与GBDT之间的区别相同点都是由多棵树组成最终的结果都是由对棵树一起决定不同点组成随机森林的数可是分类树也可以是回归树，而GBDT只由回归树组成组成随机森林的数可是并行生成，而GBDT只能是串行生成随机森林的结果是多棵树表决决定，而GBDT则是多棵树累加之和随机森林对异常值不敏感，而GBDT对异常值比较敏感随机森林是通过减少模型的方差来提高性能，而GBDT是减少模型的偏差来提高性能随机森林...
【数据挖掘】XGBoost面试题：与GBDT的区别？为什么使用泰勒二阶展开？为什么可以并行训练？为什么快？防止过拟合的方法？如何处理缺失值？
BetterBench的博客
09-19 1249
是一种基于boosting增强策略的加法模型，训练的时候采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本真实值的残差。XGB对GBDT进行了一系列优化，比如损失函数进行了二阶泰勒展开、目标函数加入正则项、支持并行和默认缺失值处理等，在可扩展性和训练速度上有了巨大的提升，但其核心思想没有大的变化。XGB模型的一个优点就是允许特征存在缺失值。
xgboost中的泰勒展开
05-30
在XGBoost中，泰勒展开用于计算损失函数的梯度和二阶导数，从而进行优化。 具体来说，XGBoost的损失函数一般采用平方损失函数，即： $$L(y_i, \hat{y_i}) = \frac{1}{2}(y_i - \hat{y_i})^2$$ 其中，$y_i$表示第$...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾世林jiashilin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值