为什么GBDT不适合处理高维特征？

最新推荐文章于 2022-05-22 23:05:22 发布
最新推荐文章于 2022-05-22 23:05:22 发布
阅读量1k 收藏
点赞数
分类专栏： 算法
原文链接：https://www.zhihu.com/question/266195966/answer/306104444
版权

我想唱歌给你听
关注
专栏目录
【机器学习Q&A】高维组合特征的处理：什么是组合特征？如何处理高维组合特征？
小哲的博客
02-08 829
高维组合特征的处理：什么是组合特征？如何处理高维组合特征？ 合成特征，特征降维，矩阵分解
逻辑回归处理非线性特征，特征离散化以及高维稀疏特征
yr20133851的博客
04-30 4766
处理非线性特征 我们都知道逻辑回归是个线性分类器，它的分类器形式为： f(x)=θ1x1+θ2x2+....+θnxnf(x)=\theta_1x_1+\theta_2x_2+....+\theta_nx_nf(x)=θ1​x1​+θ2​x2​+....+θn​xn​ 所说的线性是关于参数θ\thetaθ的线性，虽然它会经过一个sigmoid函数的映射，加入映射之后，会演变成： $hθ(x)=1/...
百题突击8:1，简述GBDT原理。 2，GBDT常用损失函数有哪些？ 3，GBDT如何用于分类? 4，为什么GBDT不适合使用高维稀疏特征? 5，GBDT算法的优缺点？
MrCharles在CSDN
04-22 564
1，简述GBDT原理。 2，GBDT常用损失函数有哪些？ 3，GBDT如何用于分类? 4，为什么GBDT不适合使用高维稀疏特征? 5，GBDT算法的优缺点？ 附加题: CV:
gbdt原文_为何常规的gbdt和决策树不适用于高基数特征的场景
weixin_33125137的博客
12-08 216
关于sklearn中的决策树是否应该用one-hot编码？​www.zhihu.com见最高赞的完美回答1、第一点很直观，不多废话了2、、在不加限制的情况下，tree会一直在高维的稀疏特征中生长，从而像左图这样一直分裂下去，当叶子节点的样本数量很小的时候，我们难以直接就根据叶子节点的输出来判定样本的类别或者是样本的回归标签值，举一个简单的例子，加入某个叶节点一共就5个样本，4个正样本，1个负样本，...
GBDT总结
天空没有留下我的痕迹，但我已飞过！
12-02 1851
Gradient Boost是一个框架，里面可以套入很多不同的算法。GBDT是GB的一种情况，GBDT=Gradient Boost+Decision Tree 也就是梯度提升+决策树 GB：梯度迭代 Gradient Boosting Boosting 是一种集成方法。通过对弱分类器的组合得到强分类器，他是串行的，几个弱分类器之间是依次训练的。GBDT 的核心就在于，每一颗树学习的是之前所有树结论和的残差。 Gradient 体现在：无论前面一颗树的 cost function 是什么，是均方差还是均差，
LR和GBDT高维稀疏特征
bit_max的博客
09-23 6317
LR和GBDT高维稀疏特征 面试被问到GBDT是否适合处理高维稀疏特征，没有答上来，感觉自己对模型理解深度不够。 结论：LR适合处理高维稀疏特征，而GBDT不适合。 主要原因有： 1、高维特征会导致gbdt运行过于耗时 2、从高维稀疏特征中难以进行有效的特征空间划分，且对噪音会很敏感。 想想一个例子，有个年龄特征0~100，如果对这样特征进行one-hot编码后变为稀疏特征，第i维表示是否为i岁。...
3-4 机器学习进阶-GBDT原理、常用损失函数、如何用于分类、优缺点
记录与分享AI资料与学习过程
01-22 1672
GBDT原理、常用损失函数、如何用于分类、优缺点 1、简述GBDT原理 2、GBDT常用损失函数有哪些 3、GBDT如何用于分类 4、为什么GBDT不适合使用高维稀疏特征？ 5、GBDT算法的优缺点
面向高维特征和多分类的分布式梯度提升树.pdf
08-08
因此，FP-GBDT改用特征并行策略，利用高效的分布式数据集转置算法，将数据集从按行切分转换为按列切分的数据表征，从而优化数据的分布和处理方式。 FP-GBDT算法中的稀疏感知方法用于加快梯度直方图的建立。这一方法...
gbdt 回归 特征重要性 排序_RandomForest、GBDT、XGBoost、lightGBM 原理与区别
weixin_39797381的博客
11-22 1867
RF,GBDT,XGBoost,lightGBM都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。根据基本学习器的生成方式，目前的集成学习方法大致分为两大类：即基本学习器之间存在强依赖关系、必须串行生成的序列化方法，以及基本学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者的代...
二、树模型(3)
qq_26430933的博客
05-22 1284
1. GBDT 特征筛选方法 https://blog.csdn.net/yangxudong/article/details/53899260
高维稀疏特征的时候，lr 的效果会比 gbdt 好
s37
04-12 7408
高维稀疏特征的时候，lr 的效果会比 gbdt 好，为什么？ 这个问题我也是思考了好久，在平时的项目中也遇到了不少 case，确实高维稀疏特征的时候，使用 gbdt 很容易过拟合。 但是还是不知道为啥，后来深入思考了一下模型的特点，发现了一些有趣的地方。 假设有1w 个样本， y类别0和1，100维特征，其中10个样本都是类别1，而特征 f1的值为0，1，且刚好这10个样本的 f1特征值都为1，其余
GBDT和Xgboost模型对比总结
panda_zjd的博客
05-10 9701
一．GBDT有哪些参数,如何确定树的深度，学习率怎样确定。 答：本题答案引自http://www.07net01.com/2016/12/1742073.html 在sk-learn中，GradientBoostingClassifier为GBDT的分类类，GradientBoostingRegressor为GBDT的回归类，两者的参数类型相同，我们把参数分为两类，第一类是Boosting
【机器学习】集成学习各方法优缺点特征总结
热门推荐
qq_32742009的博客
08-02 2万+
随机森林 优点 具有极高的准确率 随机性的引入，使得随机森林不容易过拟合，有很好的抗噪声能力，对异常点离群点不敏感 能处理很高维度的数据，并且不用做特征选择 既能处理离散型数据，也能处理连续型数据，数据集无需规范化（归一化） 实现简单，训练速度快，可以得到变量重要性排序（计算每个特征在分裂时被选到的次数或者某个特征不纯度平均下降了多少） 容易实现并行化 在创建随机森林的时候，对ge...
机器学习算法-gbdt
qq_37792144的博客
04-18 674
GBDT（分类，回归（线性/非线性）） 1.原理简介 2.原理：回归/分类 3.正则化 4.优缺点 1.原理简介：（gradient boosting decision tree） （形式+迭代目标+拟合方法） GBDT就是boosting框架+任意损失函数+CART回归树模型；他关注的是残差值，迭代目标是找到一个CART回归树模型的弱学习器，让损失函数最小（找决策树，让损失最...
【机器学习】集成学习知识点总结二
qq_32742009的博客
08-23 1139
GBDT原理概述 GBDT是集成学习Boosting的一种。算法流程详见集成学习之梯度提升树GBDT。 Gradient boosting的主要思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向。损失函数越大，说明模型越容易出错，如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不断改进，而最好的方式就是让损失函数在其梯度的方向上下降。 GBDT的核心就在于，...
GBDT和XGB算法问题总结
lizz2276的博客
06-02 2712
集成模型知识整理 GBDT相关的问题总结 1GBDT为什么用CART回归树做基学习器？ 2GBDT不擅长处理离散特征，你在应用的时候是怎么处理的 3GBDT在回归和多分类当中有什么不同，在预测的时候的流程是怎样的 4GBDT如果损失函数换成exponent会怎样，有什么变化？ 5GBDT的优点和局限性有哪些？ 6GBDT在什么情况下比逻辑回归算法要差？ 7GBDT与RF区别 8GBDT和xgb的区别有哪些？ 9GBDT和RF哪个树比较深 10为什么gbdt不能用分类树？ XGB算法问题总结 1为什么xgb要
kaggle实战_4解决高维数据分类/回归问题--房价预测
SimonChen
04-24 8024
房价预测案例 Step 1: 检视源数据集 import numpy as np import pandas as pd #读入数据，一般来说源数据的index那一栏没什么用，我们可以用来作为我们pandas dataframe的index。这样之后要是检索起来也省事儿。 ...
浅析GBDT+LR
Xianming的专栏
04-12 2025
1.前言 最近在做的项目中，一直用到了GBDT+LR算法模型来做二分类，好好梳理了下。下面介绍下这个算法。先来解答下面三个问题。 GBDT+LR模型是什么：是一种具有stacking思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于Facebook 2014年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。 GBDT+LR模型常用在哪：GBDT+LR 使用最广泛的场景是CTR广告点击率预估，即预测当给用户推送的广告
gbdt筛选特征好用吗
最新发布
09-12
GBDT（Gradient Boosting Decision Tree）是一种强大的机器学习算法，常用于特征工程和模型训练中。GBDT能够通过训练多个决策树，并将它们进行加权来获得最终的预测结果。GBDT的特征选择方法通常是通过计算特征的重要性程度来进行筛选。 GBDT在特征筛选中有以下几个优点： 1. 能够处理高维特征。GBDT能够处理大规模的特征集合，包括分类特征和数值特征。通过学习决策树，GBDT能够自动选择重要的特征，并剔除无关的特征。 2. 能够自动选择特征。GBDT可以通过计算特征的重要性程度来自动选择特征。通过选择重要的特征，可以提高模型的预测性能，并减少计算资源的消耗。 3. 能够处理缺失值。GBDT能够有效地处理数据中的缺失值。在训练决策树的过程中，GBDT能够根据其他特征的信息来推测缺失值，并不需要对缺失值进行额外处理。 尽管GBDT在特征筛选中具有上述优点，但也存在一些限制和注意事项： 1. 特征重要性排序可能不准确。GBDT通过计算特征的重要性程度来进行特征筛选，但有时候对于某些特征，其重要性评估可能不准确。因此，在使用GBDT进行特征筛选时，需要结合对数据的领域知识和经验进行综合判断。 2. 特征选择结果依赖于模型参数。GBDT的特征选择结果和模型参数有关，不同的参数设置可能会导致不同的特征选择结果。因此，在使用GBDT进行特征筛选时，需要仔细选择和调整模型参数，以达到最佳的特征选择效果。 综上所述，GBDT在特征筛选中具有一定的可靠性和有效性，但在实际应用中需要考虑数据特点和模型参数的选择。通过结合领域知识和经验，可以更好地利用GBDT进行特征筛选，提高模型效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值