xgboost知识点总结 - 面试篇

最新推荐文章于 2022-04-07 14:41:30 发布
最新推荐文章于 2022-04-07 14:41:30 发布
阅读量3.4k 收藏 41
点赞数 5
分类专栏： 机器学习 算法 面试 文章标签： 机器学习 算法 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/greatxiang888/article/details/99202764
版权

目录

关于xgboost的面试无非分为3大块，xgboost原理，调参，优点
1，原理。可能会要求推公式，细一点会让你比较和CART树有什么区别，然后引出ID3, C4.5,随机森林。（基尼系数和熵怎么算，为什么要用信息增益率）
2，调参。问你lambda，alpha是干什么的，你一般调哪些参数。GridSearchCV怎么和xgboost一起用。
3，优点。最主要的是代价函数的二阶展开，l1,l2正则。然后引申正则化有什么用，l1,l2区别等。

大佬可以直接看源码 源码解析
（以后有空再看）

xgboost原理 - 公式推导

点击这里

①集成思想 ②损失函数分析 ③求解

机器学习三要素：模型、策略、算法。

xgboost调参

点击这里

作者分享了两条经验：
1.仅仅通过调参来提升模型的效果是很难的
2.想要提升模型的效果，还可以通过特征工程、模型融合以及stacking方法

  1. General Parameters：
最低0.47元/天 解锁文章
机智翔学长
关注
  • 5
    点赞
  • 踩
  • 41
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
人工智能算法面试大总结-总目录
啥都生的博客
09-15 1万+
涉及秋招、春招、社招
BDT、GBDT、XGBOOST知识点小总结
m0_55212096的博客
09-12 836
BDT、GBDT、XGBOOST知识点小总结
XGBoost 知识点总结
weixin_37179744的博客
07-27 537
目录一、提升树介绍1.1 监督学习元素1.1.1 模型和参数1.1.2 目标函数：训练损失+正则化1.1.3 为什么需要一般性原则1.2 决策树集成1.3 树提升1.3.1 Additive Training1.3.2 模型复杂度1.3.3 结构分1.3.4 学习树结构1.4 小结二、公式推导解释2.1 XGBoost 的目标函数2.2 学习第 ttt 棵树2.3 泰勒展开2.4 定义一棵树2.5 定义树的复杂度2.6 叶子结点归组2.7 树结构打分2.8 树的生长细节2.8.1 分裂一个结点2.8.2 .
计算机视觉 - 知识点总结（面试、笔试）
lch的博客
09-15 3690
目录简历内容Faster RCNN整体流程各个层常见cv面试题 简历内容 Faster RCNN 整体流程 各个层 常见cv面试题
XGboost模型知识点总结（下）
julyedu_7的博客
04-07 856
问题6：XGBoost如何选择最佳分裂点？ XGBoost在训练前预先将特征按照特征值进行了排序，并存储为block结构，以后在结点分裂时可以重复使用该结构。 因此，可以采用特征并行的方法利用多个线程分别计算每个特征的最佳分割点，根据每次分裂后产生的增益，最终选择增益最大的那个特征的特征值作为最佳分裂点。 如果在计算每个特征的最佳分割点时，对每个样本都进行遍历，计算复杂度会很大，这种全局扫描的方法并不适用大数据的场景。XGBoost还提供了一种直方图近似算法，对特征排序后仅选择常数个候选分裂位置作为候
机器学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 12万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
算法岗面试知识点总结
Asia-Lee
08-05 3128
目录 一、机器学习知识点 二、深度学习知识点 一、机器学习知识点 1、交叉熵公式，逻辑回归（LR）公式，逻辑回归损失函数，SVM的损失函数 2、逻辑回归（LR）和线性回归的区别 线性回归用来做预测，LR用来做分类；线性回归是来拟合函数，LR是来预测函数；线性回归用最小二乘法来计算参数，LR用最大似然估计来计算参数；线性回归更容易受到异常值的影响，而LR对异常值有较好的稳定性。 3、支...
珍藏版 | 20道XGBoost面试题
小小挖掘机
09-05 1万+
XGBoost的威名想必大家都有所耳闻，它不仅是数据科学竞赛神器，在工业界中也被广泛地使用。本文给大家分享珍藏了多年的XGBoost高频面试题，希望能够加深大家对XGBo...
xgboost-1.7.5-py3-none-win-amd64
06-11
工具箱中是调用《xgboost-1.1.0+115e4c33608c3b0cee75402f1193e67fdb11ef9a-py3-none-win_amd64.whl》这个版本的whl文件。 针对windows64位系统，要注意下载后缀为win_amd64的文件，当然版本不需要严格用1.10的 ，用...
Windows下Python3.6 64位系统的xgboost的包 xgboost-0.6-cp36-cp36m-win-am
最新发布
02-18
要在Windows下为Python 3.6 64位系统安装xgboost包，你可以使用预编译的二进制包，如你提到的xgboost-0.6-cp36-cp36m-win_amd64.whl。以下是如何安装它的步骤： 下载预编译的二进制包： 首先，你需要从可靠的来源...
8-xgboost.7z8-xgboost.7z
07-03
《XGBoost：高效、灵活且可扩展的梯度提升框架》 XGBoost，全称为eXtreme Gradient Boosting，是由陈天奇开发的一个高效、灵活且可扩展的梯度提升（Gradient Boosting）算法库。这个库在机器学习领域广泛应用，尤其...
xgboost-0.82-py2.py3-none-win_amd64.whl
02-22
xgboost-0.82-py2.py3-none-win_amd64.whl
XGB_function:XGboost ensinada pela Curso-R的基础材料
03-11
**XGBoost基础与调优教程** XGBoost（Extreme Gradient Boosting）是一种高效、灵活且可扩展的梯度提升框架，尤其适用于机器学习中的分类和回归任务。它由陈天奇博士开发，并因其在数据挖掘竞赛中的优异表现而广受...
2020届毕业生秋招 算法岗（偏NLP）总结
GreatXiang888的博客
09-24 7611
从8月份开始到现在，两个月了，有点累了，更多的是心累吧，特别是0offer的那段日子，算法岗今年真的是爆炸，秋招不想再面其他的了。 为什么算法岗会爆炸？ 简单来说，AI大火，工资高，所有理工科专业都可转AI，狼多肉少。 参考知乎：如何看待 2020 届校招算法工程师岗位求职人数远大于招聘岗位的现象？ 如何看待字节跳动招聘收到的算法工程师简历的数量远超需求？ 2020秋招难吗？ 我自己投了118家公...
常见激活函数，及其优缺点 - 面试篇
GreatXiang888的博客
08-12 6603
废话不多说，直接开问。 问：什么是激活函数？ 在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数。 问：激活函数有什么用？ 如果没有激励函数，在这种情况下你每一层节点的输入都是上层输出的线性函数，无论你神经网络有多少层，输出都是输入的线性组合，相当于没有隐藏层，网络的学习能力有限。 深度学习最主要的特点就是：多层，非线性。 多层为了能够学习更多的东西；没有非...
PageRank - 原理及代码解析
GreatXiang888的博客
09-26 5722
前言 因为最近要准备毕业设计了，论文设计到抽取句子中的关键词，要用到TextRank算法。而它是由PageRank改进而来的。 来源 搜索引擎中用到，用来进行网页重要性的排名。 谷歌创始人，斯坦福大学的佩奇和布林参考学术界对论文重要性的评判方法，引用次数越多说明约重要。 PageRank思想类似： 如果一个网页被其他很多网页链接，则重要，权值高。 如果PageRank值高的网页链接某个网页，则该...
防止过拟合的方法，及dropout实现原理 - 面试篇
GreatXiang888的博客
08-12 1607
这个比较简单，但也记录一下。（要深入起来也不容易呀） 问：怎么防止过拟合？[头条，百度，boss直聘] 早停 Early stopping Early stopping方法的 具体做法 是，在每一个Epoch结束时（一个Epoch集为对所有的训练数据的一轮遍历）计算validation data的accuracy，当accuracy不再提高时，就停止训练。 一般的做法是，在训练的过程中，记录到...
softmax及其交叉熵求导(头条面试) - 面试篇
GreatXiang888的博客
08-12 1080
今日头条/字节跳动 算法岗喜欢问的一个题目，同学碰到过一次，我自己也碰到过。 问：softmax函数是什么？怎么求导？ 问：softmax的交叉熵怎么求导? （字有点丑，以后要练习） sigmoid一般用来作为2分类0-1，softmax其实是sigmoid的k分类形式，通常都在神经网络最后一层输出，表示该类别发生的概率。 另外，sigmoid可以用来作为激活函数。引出下面： 问：sigmoi...
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值