GBDT和xgboost面试

转载 2018年04月16日 17:08:15
  1. 比赛怎么做的(先说解决的问题,属于回归还是二分类问题,KS曲线是什么含义,能优化吗(用AUC代替))
  • KS值:用真正率和假正率的累计值分别做为纵坐标就得到两个曲线,这就是K-S曲线。
  1. GBDT与XGBoost的区别(知乎wepon大神:https://www.zhihu.com/question/41354392
  • 传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。
  • 传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下,xgboost工具支持自定义代价函数,只要函数可一阶和二阶求导。
  • xgboost在代价函数里加入了正则项,用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲,正则项降低了模型的variance,使学习出来的模型更加简单,防止过拟合,这也是xgboost优于传统GBDT的一个特性。
  • Shrinkage(缩减),相当于学习速率(xgboost中的eta)。xgboost在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间。实际应用中,一般把eta设置得小一点,然后迭代次数设置得大一点。(补充:传统GBDT的实现也有学习速率)
  • 列抽样(column subsampling)。xgboost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算,这也是xgboost异于传统gbdt的一个特性。
  • 对缺失值的处理。对于特征的值有缺失的样本,xgboost可以自动学习出它的分裂方向。
  • xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的?注意xgboost的并行不是tree粒度的并行,xgboost也是一次迭代完才能进行下一次迭代的(第t次迭代的代价函数里包含了前面t-1次迭代的预测值)。xgboost的并行是在特征粒度上的。我们知道,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),xgboost在训练之前,预先对数据进行了排序,然后保存为block结构,后面的迭代中重复地使用这个结构,大大减小计算量。这个block结构也使得并行成为了可能,在进行节点的分裂时,需要计算每个特征的增益,最终选增益最大的那个特征去做分裂,那么各个特征的增益计算就可以开多线程进行。
  • 可并行的近似直方图算法。树节点在进行分裂时,我们需要计算每个特征的每个分割点对应的增益,即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下,贪心算法效率就会变得很低,所以xgboost还提出了一种可并行的近似直方图算法,用于高效地生成候选的分割点。
  1. LightGBM相对XGBoost的改进(近似直方图的并行计算??不懂,建树的区别: leaf wise VS level wise?https://zhuanlan.zhihu.com/p/25308051 ,http://msra.cn/zh-cn/news/blogs/2017/01/lightgbm-20170105.aspx)
  1. 模型常见抗过拟合方案(交叉验证CV 正则化(L1,L2))
  1. L1正则化是怎样解决不可导的问题优化的(近梯度下降法(或者叫:坐标轴下降法??)&& 最小角回归)
  1. 常见优化算法:凸优化家族:(梯度下降法(BGD,SGD),牛顿法家族(变形:BFGS,DFP等),拉格朗日对偶,其他?:启发式优化算法、蚁群、遗传、模拟退火、禁忌搜索、贪心算法...
  1. CART树如何建树(内部节点离散特征取值是否,连续值切割相邻两点,小于或者大于阈值(ai+ai+1)/2,递归二分每个特征??)用到的准则(回归:平方误差最小化;分类:基尼指数)
  1. 常见损失函数(线性回归:平方损失、0-1损失、LR:对数损失,提升树(此处指adaboost):指数损失,SVM:合页损失函数...)
  1. XGBoost如何解决缺失值问题?(能通过自动学习找到缺失值分裂方向)
  1. XGBoost中的树剪枝(CART的剪枝原理:预剪枝和后剪枝策略?有点混乱)
  1. 不平衡数据如何解决(上采样、下采样或者自定义代价函数,xgboost中scale_pos_weight参数)
  1. Linux,Shell会吗?(不会)
  2. 0/1label占比
  3. sql ,where / having的区别:
  4. 逻辑回归、xgboost 关于0/1占比非常不均衡如何调参
  5. feature_importance的原理
  1. 口头编程:旋转数组的最小数字(剑指offer原题,思路)
  2. 蚂蚁金服面试问题:0/1label占比; sql where / having的区别;逻辑回归、xgboost 关于0/1占比非常不均衡如何调参feature_importance的原理;KS的定义是什么,模型效果怎么看

机器学习案例实战第六课-PCA与Xgboost

-
  • 1970年01月01日 08:00

机器学习高频面试题之---简述GBDT与XGBoost的区别

最近校招面试被问到了这个问题,之前也在搜集了一些资料,在此整理一下,贴在这里。一、基本概念GBDT(又称Gradient Boosted Decision Tree/Grdient Boosted R...
  • jackmcgradylee
  • jackmcgradylee
  • 2017-09-01 21:17:53
  • 1173

RF、GBDT、XGBoost面试级整理

由于本文是基于面试整理,因此不会过多的关注公式和推导,如果希望详细了解算法内容,敬请期待后文。      RF、GBDT和XGBoost都属于集成学习(Ensemble Learning),集成学...
  • qq_28031525
  • qq_28031525
  • 2017-04-17 10:01:40
  • 10216

[面试笔记] 决策树、随机森林、GBDT、XGBoost

本文主要分享了 决策树、随机森林、GBDT、XGBoost 四种模型的原理决策树
  • LeYOUNGER
  • LeYOUNGER
  • 2017-12-11 15:19:03
  • 513

从GBDT到Xgboost

GBDT Xgboost
  • cs123951
  • cs123951
  • 2017-04-27 22:23:43
  • 495

机器学习(四)--- 从gbdt到xgboost

gbdt(又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree),是一种迭代的决策树算法,该算法由多个决策树组成。它最早见于...
  • china1000
  • china1000
  • 2016-04-09 19:34:15
  • 22352

RF(随机森林)、GBDT、XGBoost面试级整理

向AI转型的程序员都关注了这个号???大数据挖掘DT数据分析  公众号: datadw由于本文是基于面试整理,因此不会过多的关注公式和推导,如果希望详细了解算法内容,敬请期待后文。      RF、G...
  • meyh0x5vDTk48P2
  • meyh0x5vDTk48P2
  • 2018-02-07 00:00:00
  • 513

XGBOOST,GBDT,RandomForest的比较

首先XGBOOST,GBDT,RF都是集成算法,RF是Bagging的变体,与Bagging相比,RF加入了属性扰动,而XGBOOST,GBDT属于boosting. ----------------...
  • qccc_dm
  • qccc_dm
  • 2017-03-19 15:02:57
  • 2773

xgboost/gbdt在调参时为什么树的深度很少就能达到很高的精度?

作者:于菲 链接:https://www.zhihu.com/question/45487317/answer/99153174 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业...
  • chuanda112233
  • chuanda112233
  • 2016-07-14 22:18:04
  • 2939

机器学习算法中GBDT和XGBOOST

机器学习算法中GBDT和XGBOOST
  • jdbc
  • jdbc
  • 2017-01-18 15:29:19
  • 1587
收藏助手
不良信息举报
您举报文章:GBDT和xgboost面试
举报原因:
原因补充:

(最多只允许输入30个字)