百题突击8:1，简述GBDT原理。 2，GBDT常用损失函数有哪些？ 3，GBDT如何用于分类? 4，为什么GBDT不适合使用高维稀疏特征? 5，GBDT算法的优缺点？

最新推荐文章于 2022-01-22 18:31:50 发布
最新推荐文章于 2022-01-22 18:31:50 发布
阅读量565 收藏 6
点赞数
分类专栏： 琐碎记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MrCharles/article/details/116018791
版权

1，简述GBDT原理。
2，GBDT常用损失函数有哪些？
3，GBDT如何用于分类?
4，为什么GBDT不适合使用高维稀疏特征?
5，GBDT算法的优缺点？

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
附加题:

CV:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

MrCharles
关注
专栏目录
GBDT的损失函数选择与优化
程序员光剑
08-01 258
关键词：GBDT，损失函数，优化，梯度提升 1. 背景介绍 1.1 问题的由来 在机器学习领域，梯度提升决策树（Gradient Boosting Decision Tree，简称GBDT）是一种强大且广泛使用的模型。GBDT通过迭代训练并添加新的决策树，以最小化给定的损失函数。然而，损失函
深入理解GBDT二分类算法
Microstrong
11-14 1万+
我的个人微信公众号： Microstrong 微信公众号ID： MicrostrongAI 微信公众号介绍： Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！ 我的知乎主页： https://www.zhihu.com/people/MicrostrongAI/activities ...
损失函数与梯度提升树
LDOTN的博客
12-12 2790
上一篇文章简单介绍了几种集成方法，以随机森林为代表的平均方法，以adaboost、提升树为代表的提升方法。本文继续提升树的讨论，采用梯度提升算法，分析更一般的损失函数下的分类、回归问题。首先介绍几种在机器学习算法中常见的损失函数，继而介绍GBDT算法。
为什么GBDT不适合处理高维特征？
Edison的小茶馆
09-04 1004
sklearn 中GBDT的损失函数
bitcarmanlee的博客
09-09 6847
1.分类模型分类模型的损失函数包括有”deviance”和指数损失函数”exponential”，默认为对数损失函数。 相关参考链接： 1.损失函数 http://www.csuldw.com/2016/03/26/2016-03-26-loss-function/ 2.Adaboost与指数损失 http://breezedeus.github.io/2015/07/12/breezedeu
GBDT常用损失函数
qfikh的博客
11-03 1万+
分类算法的损失函数： 指数损失函数 对数损失函数： 二元分类的对数函数 多元分类的对数函数 回归算法的损失函数： 均方损失函数 绝对值损失函数 Huber损失函数 分位数损失函数 还需要好好整理一下，常用算法的 损失函数做到随时都能写出来 参考：https://www.cnblo...
gbdt原文_为何常规的gbdt和决策树不适用于高基数特征的场景
weixin_33125137的博客
12-08 217
关于sklearn中的决策树是否应该用one-hot编码？​www.zhihu.com见最高赞的完美回答1、第一点很直观，不多废话了2、、在不加限制的情况下，tree会一直在高维的稀疏特征中生长，从而像左图这样一直分裂下去，当叶子节点的样本数量很小的时候，我们难以直接就根据叶子节点的输出来判定样本的类别或者是样本的回归标签值，举一个简单的例子，加入某个叶节点一共就5个样本，4个正样本，1个负样本，...
(3 条消息) 机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？ - 知乎1
08-03
**GBDT（Gradient Boosting Decision Tree）** 是一种基于梯度提升的决策树算法，它通过构建一系列弱预测器，并逐步优化模型以提高整体预测能力。每个新的树都是为了解决前一轮迭代中残差的预测错误。在基础的GBDT中...
大白话GBDT算法-通俗理解GBDT原理
06-21
第三个模块通过剖析分类和回归损失函数来讲解GBDT在分类和回归方面的应用。 第四个模块通过手动方式一步步拆解讲解GBDT回归，二分类，多分类的过程，还原真实迭代流程。 第五个模块通过真实案例讲解GBDT的工作中所用...
GBDT_Simple_Tutorial:python实现GBDT的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，庖丁解牛地理解GBDT。Gradient Boosting Decision Trees regression, dichotomy and multi-classification are realized based on python, and the details of algorithm flow are displayed, interpreted and visu
05-10
利用python实现GBDT算法的回归、二分类以及多分类，将算法流程详情进行展示解读并可视化，便于读者庖丁解牛地理解GBDT。 项目进度： 回归 二分类 多分类 可视化 算法原理以及公式推导请前往blog： 依赖环境 操作...
3-4 机器学习进阶-GBDT原理、常用损失函数、如何用于分类、优缺点
记录与分享AI资料与学习过程
01-22 1683
GBDT原理、常用损失函数、如何用于分类、优缺点 1、简述GBDT原理 2、GBDT常用损失函数有哪些 3、GBDT如何用于分类 4、为什么GBDT不适合使用高维稀疏特征？ 5、GBDT算法的优缺点
LR和GBDT高维稀疏特征
bit_max的博客
09-23 6327
LR和GBDT高维稀疏特征 面试被问到GBDT是否适合处理高维稀疏特征，没有答上来，感觉自己对模型理解深度不够。 结论：LR适合处理高维稀疏特征，而GBDT不适合。 主要原因有： 1、高维特征会导致gbdt运行过于耗时 2、从高维稀疏特征中难以进行有效的特征空间划分，且对噪音会很敏感。 想想一个例子，有个年龄特征0~100，如果对这样特征进行one-hot编码后变为稀疏特征，第i维表示是否为i岁。...
GBDT
baibingbingbing的博客
01-29 2268
Skelearn 参数详解： 这篇介绍Boosting的第二个模型GBDT，GBDT和Adaboost都是Boosting模型的一种，但是略有不同，主要有以下两点不同： GBDT使用的基模型是CART决策树，且只能是CART决策树，而Adaboost的默认基模型是CART决策树，可以是其他模型。 GBDT通过计算每次模型的负梯度来进行模型迭代，而Adaboost模型则根据错分率来进行模型迭代。 参...
问题：为什么深度学习的结构特点不利于稀疏特征向量的处理呢？
UpUpUp
04-03 726
问题：为什么深度学习的结构特点不利于稀疏特征向量的处理呢？ 一方面，如果我们深入到神经网络的梯度下降学习过程就会发现，特征过于稀疏会导致整个网络的收敛非常慢，因为每一个样本的学习只有极少数的权重会得到更新，这在样本数量有限的情况下会导致模型不收敛。 另一个方面，One-hot 类稀疏特征的维度往往非常地大，可能会达到千万甚至亿的级别，如果直接连接进入深度学习网络，那整个模型的参数数量会非常庞大，这对于一般公司的算力开销都是吃不消的。 所以基于上面两个原因，我们往往先通过 Embedding 把原始稀疏特征稠
CTR 预测理论（十九）：高维稀疏特征场景中 LR 比 GBDT 效果好的原因
Dby_freedom的博客
08-06 2641
个人曾经也很多次思考过：高维稀疏特征的时候，LR 的效果会比 GBDT 好的原因，现查阅资料总结与此。
机器学习（五）——GBDT算法
guoyang768的博客
12-24 641
1.GBDT概述 GBDT也是集成学习Boosting家族的成员，GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型。在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是 f t-1(x)，损失函数是L（y，ft-1(x)），我们本轮迭代的目标是找到一个CART回归树模型的弱学习器ht（x），让本轮的损失函数L（y，ft（x））=L（y，ft-1（x）+ht（x...
高维稀疏特征的时候，lr 的效果会比 gbdt 好
s37
04-12 7411
高维稀疏特征的时候，lr 的效果会比 gbdt 好，为什么？ 这个问题我也是思考了好久，在平时的项目中也遇到了不少 case，确实高维稀疏特征的时候，使用 gbdt 很容易过拟合。 但是还是不知道为啥，后来深入思考了一下模型的特点，发现了一些有趣的地方。 假设有1w 个样本， y类别0和1，100维特征，其中10个样本都是类别1，而特征 f1的值为0，1，且刚好这10个样本的 f1特征值都为1，其余
RF、GBDT、XGBoost面试级整理
热门推荐
王琨的博客
04-17 6万+
由于本文是基于面试整理，因此不会过多的关注公式和推导，如果希望详细了解算法内容，敬请期待后文。 　　 　　RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 　　根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MrCharles

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值