GBDT训练分类器时，残差是如何计算的？

最新推荐文章于 2024-08-17 11:24:13 发布
最新推荐文章于 2024-08-17 11:24:13 发布
阅读量8.5k 收藏 5
点赞数 2
分类专栏： scikit-learn 文章标签： GBDT GBDT分类 GBDT分类残差计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmc2015/article/details/52398488
版权
GBDT在分类任务中的残差计算基于负梯度方向，对于二元分类，使用二项式偏差损失函数，残差为y与经过logistic函数得到的概率预测值pred之间的差值。在多类别分类中，通过转换为多个二元分类问题来计算。分类器内部实际上使用的是回归树。
摘要由CSDN通过智能技术生成




大家都知道，对于回归任务，GBDT的loss=(y-pred)^2，因此残差residual=2*(y-pred)很容易理解。


那么，GBDT做分类任务时，残差是怎样的呢？？？

Gradient Boosting attempts to solve this minimization problem numerically via steepest descent，

The steepest descent direction is the negative gradient of the loss function evaluated at the current model F_{m-1} ，

which can be calculated for any differentiable loss function。

The algorithms for regression and classification only differ in the concrete loss function used.


下面以分类的deviance为例：http://scikit-learn.org/stable/modules/ensemble.html#loss-functions

Classification

  • Binomial deviance ('deviance'): The negative binomial log-likelihood loss function for binary classification (provides probability estimates).
  • The initial model is given by the log odds-ratio.





0&#x

最低0.47元/天 解锁文章
mmc2015
关注
专栏目录
什么是残差，如何求残差
水月灯花的博客
06-30 8万+
为了明确解释变量和随机误差各产生的效应是多少，统计学上把数据点与它在回归直线上相应位置的差异 称残差，把每个残差的平方后加起来 称为残差平方和，它表示随机误差的效应。下面是残差图 回归平方和 总偏差平方和=回归平方和 + 残差平方和。 残差平方和与总平方和的比值越小，判定系数 r2 的值就越大。 标准差也被称为标准偏差，标准差(Standard Deviation)描述各数据偏离平均...
数值计算-残差
11-08
数值计算的实验 计算残差 是一个双精度的
机器学习——XGBoost
最新发布
CXDNW的博客
08-17 1032
XGBoost 全称 是 eXtreme Gradient Boosting，可译为 极限梯度提升算法。它由 陈天奇所设计，致力于 让提升树突破自身的 计算极限，以实现 运算快速，性能优秀的 工程目标。与决策树、SVM 等不同，它是一个集大成的机器学习算法。
GBDT 负梯度 残差
qq_40598006的博客
02-25 420
我们通常说的GBDT去拟合残差是不全面的，是当损失函数是均方损失时，负梯度刚好是残差，残差只是特例。我们可以把 gbdt 的求解过程想象成线性模型优化的过程。 在线性模型优化的过程中。利用梯度下降我们总是让参数向负梯度的方向移动，使损失函数最小。现在来看 gbdt，假入我们现在有 t 课树，我们需要去学习是第 t+1 颗树，那么如何学习第 t+1 颗树才是最优的树呢？ 这个时候我们参考梯度优化的思想。现在的 t 课树就是我们现在的状态使用这个状态我们可以计算出现在的损失。如何让损失更小呢？我们只需要让
HM编码器代码阅读(32)——帧间预测之AMVP/Merge模式（七）encodeResAndCalcRdInterCU函数：残差计算、变换量化
NB_vol_1的专栏
02-16 4035
encodeResAndCalcRdInterCU 经过运动估计、运动补偿，我们得到了MV以及参考块，那么接下来是计算残差、计算MVD，然后对系数进行变换、量化。 encodeResAndCalcRdInterCU函数就是帧间预测之后，专门用来计算残差、进行变换量化的函数。 但是，除了变换量化之外，encodeResAndCalcRdInterCU函数中还有熵编码方面的处理，我们
理解GBDT算法（二）——基于残差的版本
bigfacesafdasgfewgf
03-30 8366
GBDT算法有两种描述思路，一个是基于残差的版本，一个是基于梯度gradient的版本。这篇我们先说说基于残差的版本。前面一篇博文已经说了该版本的大致原理，请参考。 http://blog.csdn.net/puqutogether/article/details/41957089这篇我们再总结一个几个注意点： 这个版本的核心思路：每个回归树学习前面树的残差，并且用shrinkage把学习到的结果
残差（residual）
aihali的专栏
06-23 9115
在回归分析中，测定值与按回归方程预测的值之差，以δ表示。残差δ遵从正态分布N(0，σ2)。δ与σ之比，称为标准化残差，以δ*表示。δ*遵从标准正态分布N(0，1)。实验点的标准化残差落在(-2，2)区间以外的概率≤0.05。若某一实验点的标准化残差落在(-2，2)区间以外，可在95％置信度将其判为异常实验点，不参与回归线拟合。
GBDT原理解析：为什么说GBDT是拟合残差的梯度下降算法
nickzzzhu的博客
08-09 1万+
写这篇博客是因为博主花了一天时间在网上找GBDT的原理解析，但发现所有介绍GBDT的文章都没有说清楚，尤其没有让博主明白为什么GBDT的每一步学习是基于之前的错误学习的，是在拟合残差。于是博主只好又花半天时间读了Friedman的原文的前半部分（后半部分开始介绍正则化、变量重要性定义和模拟实验了，没细看），感觉终于懂了80%-90%。博主觉得一定要把这个理解记下来，以便以后复习。 本博客主要参考...
深入理解GBDT二分类算法
Microstrong
11-14 1万+
我的个人微信公众号： Microstrong 微信公众号ID： MicrostrongAI 微信公众号介绍： Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！ 我的知乎主页： https://www.zhihu.com/people/MicrostrongAI/activities ...
RF、GBDT、XGBoost
01-06
RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即...
线性回归和残差的计算.ipynb
08-31
用python 计算线性回归和残差，最后的结果用matplotlib 画图，结果也包含残差的计算，本资源为全英文版。
深入解析GBDT二分类算法（附代码实现）.rar
10-18
- **构建弱预测器**：在每轮迭代中，GBDT通过最小化梯度加权残差来训练决策树，使得树的预测值能最大程度地减小当前损失函数的梯度。 - **累加模型**：每轮训练得到的新树模型并不替换旧模型，而是将其预测结果累加...
【深度学习】最强算法之：残差网络（ResNet）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
05-06 5929
一篇掌握深度学习算法之：残差网络
5.21算法-残差网络
轩宇
08-13 196
MINRES（极小残差算法）求解线性系统详细解读
forrestguang的博客
12-08 1137
先介绍Lanzos分解首先介绍Lanczos分解，Lanzos把对称矩阵转换为一个三对角对称矩阵。考虑三对角对称矩阵如下，考虑正交分解 T=QTAQT = Q^T A QT=QTAQ T=(α1β10⋯00β1α2β20⋯00β2α3β3⋯00⋯⋯⋯⋯00⋯0βn−2αn−1βn−100⋯0βn−1αn)T=\left(\begin{array}{cccccc} \alpha_1 & \beta_1 & 0 & \cdots & 0 & 0\\ \beta_1 & \alpha_2 & \beta_2 &
残差
PengPengBlog的博客
11-16 930
1）若用一模型拟合资料，则模型计算值与资料实测值之差为残差，如线性回归中的实测值与方程的计算值之差。 2）变量的真值与观测值之差
GBDT解决分类问题
03-11 1304
一、GBDT是通过梯度下降（作为残差的近似）更新的决策树集成的boosting模型。 （1）GBDT无论用于分类还是回归一直是使用的CART回归树。 原因：如果选用的弱分类器是分类树，类别相减是没有意义的。上一轮输出的是样本x属于A类，本轮训练输出的是样本x属于B类，A类减B类是没有意义的。 （2）GBDT每轮的训练是在上一轮训练的残差基础上进行训练的，残差指的是当前模型的负梯度值。 二、使用GBDT来解决多分类问题，实质是把它转化为回归问题。在回归问题中，GBDT每一轮迭代都构建了一棵树，实质是构建了一个
CNN 卷积神经网络-- 残差计算
热门推荐
zhongkeli的专栏
07-07 1万+
前言本文主要是解析论文Notes onConvolutional Neural Networks的公式，参考了http://blog.csdn.net/lu597203933/article/details/46575871的公式推导，借用https://github.com/BigPeng/JavaCNN代码CNNcnn每一层会输出多个feature map, 每个feature map由多个神
GBDT入门详解：残差拟合与决策树增强
Boosting是一种集成学习方法，通过累积多个弱分类器（如决策树）形成一个强分类器。它关注如何调整每次迭代中训练数据的权重，以优先关注那些先前预测错误的样本。这有助于减少模型的整体偏差，提高整体性能。 **...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值