集成学习专题之GBDT面试

本文详细解答了GBDT在面试中常见的问题,包括GBDT的算法流程、特征选择、分类方法、误差减少方式以及与LR、SVM的对比。此外,还探讨了GBDT的加速训练策略、参数调优步骤、实战问题和优缺点,并介绍了正则化方法。
摘要由CSDN通过智能技术生成

题目和答案来自于网络,相关链接已贴。
春招不易,且学且珍惜~

Q1:GBDT的算法流程?
A:GBDT是通过采用加法模型(基函数的线性组合),不断减小训练过程产生的残差来达到将数据分类或者回归的算法。针对一般损失函数优化困难问题,利用损失函数的负梯度在当前模型的值作为残差的近似值进行求解。

Q2:GBDT如何选择特征?(CART Tree中的特征选择方法)
A:遍历每个特征,然后对每个特征遍历它所有可能的切分点,找到最优特征m的最优切分点j

Q3:GBDT如何构建特征?
A:将样本输入到GBDT生成的树中,所有树的叶子结点可以构建一个向量,输入样本可以获得一个关于叶子结点的0-1向量,将这个向量作为该样本的组合特征,和原来的特征一起输入到逻辑回归当中训练(CTR中GBDT+LR)

Q4:GBDT 如何用于分类?
A:针对样本x每个可能的类都训练一个分类回归树,即每轮的训练都是同时训练k棵树,使用softmax来产生概率。

Q1~Q4 source: http://www.cnblogs.com/ModifyRong/p/7744987.html#FeedBack

Q5:GBDT通过什么方式减少误差?
A:每棵树都是在拟合当前模型的预测值和真实值之间的误差,GBDT是通过不断迭代来使得误差见小的过程。

Q6:GBDT的效果相

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值