GBDT和xgboost面试

  1. 比赛怎么做的(先说解决的问题,属于回归还是二分类问题,KS曲线是什么含义,能优化吗(用AUC代替))
  • KS值:用真正率和假正率的累计值分别做为纵坐标就得到两个曲线,这就是K-S曲线。
  1. GBDT与XGBoost的区别(知乎wepon大神:https://www.zhihu.com/question/41354392
  • 传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。
  • 传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下,xgboost工具支持自定义代价函数,只要函数可一阶和二阶求导。
  • xgboost在代价函数里加入了正则项,用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲,正则项降低了模型的variance,使学习出来的模型更加简单,防止过拟合,这也是xgboost优于传统GBDT的一个特性。
  • Shrinkage(缩减),相当于学习速率(xgboost中的eta)。xgboost在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间。实际应用中,一般把eta设置得小一点,然后迭代次数设置得大一点。(补充:传统GBDT的实现也有学习速率)
  • 列抽样(column subsampling)。xgboost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算,这也是xgboost异于传统gbdt的一个特性。
  • 对缺失值的处理。对于特征的值有缺失的样本,xgboost可以自动学习出它的分裂方向。
  • xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的?注意xgboost的并行不是tree粒度的并行,xgboost也是一次迭代完才能进行下一次迭代的(第t次迭代的代价函数里包含了前面t-1次迭代的预测值)。xgboost的并行是在特征粒度上的。我们知道,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),xgboost在训练之前,预先对数据进行了排序,然后保存为block结构,后面的迭代中重复地使用这个结构,大大减小计算量。这个block结构也使得并行成为了可能,在进行节点的分裂时,需要计算每个特征的增益,最终选增益最大的那个特征去做分裂,那么各个特征的增益计算就可以开多线程进行。
  • 可并行的近似直方图算法。树节点在进行分裂时,我们需要计算每个特征的每个分割点对应的增益,即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下,贪心算法效率就会变得很低,所以xgboost还提出了一种可并行的近似直方图算法,用于高效地生成候选的分割点。
  1. LightGBM相对XGBoost的改进(近似直方图的并行计算??不懂,建树的区别: leaf wise VS level wise?https://zhuanlan.zhihu.com/p/25308051 ,http://msra.cn/zh-cn/news/blogs/2017/01/lightgbm-20170105.aspx)
  1. 模型常见抗过拟合方案(交叉验证CV 正则化(L1,L2))
  1. L1正则化是怎样解决不可导的问题优化的(近梯度下降法(或者叫:坐标轴下降法??)&& 最小角回归)
  1. 常见优化算法:凸优化家族:(梯度下降法(BGD,SGD),牛顿法家族(变形:BFGS,DFP等),拉格朗日对偶,其他?:启发式优化算法、蚁群、遗传、模拟退火、禁忌搜索、贪心算法...
  1. CART树如何建树(内部节点离散特征取值是否,连续值切割相邻两点,小于或者大于阈值(ai+ai+1)/2,递归二分每个特征??)用到的准则(回归:平方误差最小化;分类:基尼指数)
  1. 常见损失函数(线性回归:平方损失、0-1损失、LR:对数损失,提升树(此处指adaboost):指数损失,SVM:合页损失函数...)
  1. XGBoost如何解决缺失值问题?(能通过自动学习找到缺失值分裂方向)
  1. XGBoost中的树剪枝(CART的剪枝原理:预剪枝和后剪枝策略?有点混乱)
  1. 不平衡数据如何解决(上采样、下采样或者自定义代价函数,xgboost中scale_pos_weight参数)
  1. Linux,Shell会吗?(不会)
  2. 0/1label占比
  3. sql ,where / having的区别:
  4. 逻辑回归、xgboost 关于0/1占比非常不均衡如何调参
  5. feature_importance的原理
  1. 口头编程:旋转数组的最小数字(剑指offer原题,思路)
  2. 蚂蚁金服面试问题:0/1label占比; sql where / having的区别;逻辑回归、xgboost 关于0/1占比非常不均衡如何调参feature_importance的原理;KS的定义是什么,模型效果怎么看
阅读更多
文章标签: gbdt  xgboost
个人分类: 学习者
上一篇随机森林的训练使用
下一篇移动推荐算法中的RF训练模型过程
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭