对xgboost、lightgbm面向面试题的理解

最新推荐文章于 2024-04-09 20:46:30 发布

Lord_sh

最新推荐文章于 2024-04-09 20:46:30 发布

阅读量544

点赞数 1

分类专栏：机器学习文章标签： xgboost lightgbm 机器学习面试

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Lord_sh/article/details/107988491

版权

机器学习专栏收录该内容

27 篇文章 0 订阅

订阅专栏

intro：

最近在公司做项目，用xgboost、lightgbm分析特征重要性，做个baseline，正好写下对xgboost和lightgbm最新的理解

Chap01：

正好看到一道面试题：

我面试候选人时必问的一个问题

GBDT中的梯度是什么对什么的梯度？
给一个有m个样本，n维特征的数据集，如果用LR算法，那么梯度是几维?
同样的m*n数据集，如果用GBDT，那么梯度是几维？m维？n维？m*n维？或者是与树的深度有关？或者与树的叶子节点的个数有关？

就这样一个简单的问题，面试过2位数的候选人了，回答正确的不到5个。回答错误的人中，包括一个前阿里P7，和一个kaggle比赛中多次进入top 5%的“竞赛达人”。
作者：石塔西
链接：https://www.zhihu.com/question/62482926/answer/526988250
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Chap02:

xgboost 优化目标函数：

loss function满足泰勒展开的条件

变化为

其中 $f(x) = l(y_{i},\hat{y}_{i}^{t-1})$ ，即当前i样本实际值t-1轮预测值的差，这是个常数项

并且

可以看出来 $g_{i}$ 、 $h_{i}$ 与t轮（当前轮无关），是常数。g为f(x)在 x=x_0 处的导数，f(x)是已知函数。

以平方损失函数为例：

$Loss = \sum_{i=1}^{n}(y_{i}-(\hat{y}_{i}^{t-1}+f_{t}(x_{i})))^{2}$ ，对应的 $f(x) = (y_{i}-\hat{y}_{i}^{t-1})^2$

则 $g=\partial f(x) /\partial \hat{y}^{t-1} = 2(\hat{y}^{t-1} - y_{i})$ ， h = 2 (g、h都为常数)

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
对xgboost、lightgbm面向面试题的理解

intro：最近在公司做项目，用xgboost、lightgbm分析特征重要性，做个baseline，正好写下对xgboost和lightgbm最新的理解Chap01：正好看到一道面试题：我面试候选人时必问的一个问题GBDT中的梯度是什么对什么的梯度？给一个有m个样本，n维特征的数据集，如果用LR算法，那么梯度是几维? 同样的m*n数据集，如果用GBDT，那么梯度是几维？m维？n维？m*n维？或者是与树的深度有关？或者与树的叶子节点的个数有关？就这样一个简单的问题，面试过2位数的
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。