XGBoost

X G B o o s t XGBoost XGBoost

一 Boosting


  • Boosting: 将弱学习器组合成强分类器
    – 构造一个性能很高的预测(强学习器)是一件很困难的事情
    – 但构造一个性能一般的预测(弱学习器)并不难
    – 弱学习器:性能比随机猜测好(层数不深的CART是一个好选择)

  • 亦可视为一种自适应基模型:

在这里插入图片描述
其中在这里插入图片描述
为基函数/弱学习器。


二 Gradient Boosting

三 XGBoost

  • XGBoost:eXtreme Gradient Boosting
    – 可自定义损失函数:损失函数采用二阶近似
    – 规范化的正则项:叶子节点数目、叶子结点的分数
    – 建树与剪枝:先建完全树后剪枝
  • 支持分裂点近似搜索
  • 稀疏特征处理
  • 缺失值处理
    – 特征重要性与特征选择
    – 并行计算
    – 内存缓存

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

已标记关键词 清除标记
相关推荐
<p class="ql-text-indent-1 ql-long-5913158" style="text-indent:29.3333px;font-size:11pt;color:#494949;"> <span class="ql-author-5913158">SVM的教程在网上已经有很多了,比如经典的《支持向量机通俗导论:理解SVM的三层境界》,但本课程作为《机器学习集训营》的试听课程,会手把手带你推导SVM和XGBoost。</span> </p> <p class="ql-text-indent-1 ql-long-5913158" style="text-indent:29.3333px;font-size:11pt;color:#494949;"> <span class="ql-author-5913158">XGBoost一直是kaggle竞赛中的神器,是boosting算法的其中一种,而Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。XGBoost作为一种提升树模型,将许多树模型集成在一起,形成一个强分类器,所用到的树模型则是CART回归树模型。</span> </p> <p class="ql-text-indent-1 ql-long-5913158" style="text-indent:29.3333px;font-size:11pt;color:#494949;"> <span class="ql-author-5913158">通过本集训营试听课程快速掌握SVM和Xgboost 两大算法的理论推导后,可以进一步学习《机器学习集训营》。</span> </p> <p>   </p> <p class="ql-text-indent-1 ql-long-5913158" style="text-indent:29.3333px;font-size:11pt;color:#494949;"> <span class="ql-author-5913158">《机器学习集训营》总计八大阶段,十三个实战项目(三大企业项目、十个实训项目),涵盖Python基础与数据分析、机器学习原理、机器学习实战、深度学习原理、深度学习实战,以及CV 推荐 NLP三大方向的BAT工业级大项目实战、面试就业指导等等,助力你的就业、转型、提升之路,3个月挑战年薪40万。</span> </p>
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师:CSDN官方博客 返回首页